新上线的新网站上线广告语,两个月后,可以每天实现5条资源的转化吗?

昆明医科大学第一附属医院移动CT卒中救护车启用新闻发布会17日在昆明举行。
在云南省博物馆,有这样一群文物医生,他们穿越千百年,为一件件珍宝“疗伤”。
价格上,今年与去年相比变化不大,随着节日的临近,还会有新的品种摆上货架。
“一部手机游云南”全球体验官活动已于5月16日收官,行程结束后,全球体验官们纷纷点赞。
目前,云南大理洱源县已建成茈碧湖、草海等湿地共15421亩,今年底将建成湿地面积两万亩以上。
生气时人体会分泌一种叫"儿茶酚胺"的物质,作用于中枢神经系统,使血糖升高,脂肪酸分解加强。
到2020年,昆明市将引进省内外优质教育品牌参与办学,新增20所优质学校。
为切实做好蔬菜生产工作,狠抓“菜篮子”产品供给,昆明市全面落实“菜篮子”市长负责制考核。
尽管昆明部分小区及写字楼已经设立了智能收件箱,但不能完全满足日益增多的网购人群需求。
《复仇者联盟3:无限战争》自5月11日在中国正式开画以来,便以破竹之势横扫各项记录。
今后昆明市民可以凭借微信账号,每天每一个账号可以免费领取一包纸巾。
云南电网公司以“社会责任实践展馆”的形式向市民展示了2017年公司社会责任实践成果。
越南发现全球第四只极度濒危动物斑鳖
越南河内首家小米授权店吸引众多"米粉"
中国援柬流动诊所首批医疗车在金边交接
农行设立河内分行助力越南经济发展
中国援柬3号公路改扩建项目正式开工你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
【数据分析侠A的成长故事】同学A:22岁,男,大四准备实习,计算机专业,迷茫期作为一个很普通的即将迈入职场的他来说,看到周边的同学都找了技术开发的岗位,顿觉自己很迷茫,因为自己不是那么喜欢钻研写代码,而自己又没太多的经验。那年他实习,选择了一家国内一线梯队的电商公司,HR问道想选择什么岗位,而他本人自己也比较困惑,说对数据感兴趣。而恰好那年公司打算成立一个数据部门,就把同学A分配到了市场部的数据组。那时候主管是来自新浪背景的网站分析师。赶上了电商大潮,大家交流的比较多的就是网站分析的PV UV ROI 转化率 访问深度 老客户占比。做的比较多的是通过GA,百度统计,51la等网站监控平台去监控数据。然后这些常规的指标并不能满足实际的业务发展需求,因为市场部门要做人群的短信营销投放,预算比较有限,大家都希望在有限的预算内提高转化的用户。同学A开始研究起整个电商网站的用户路径起来,看了一本书叫《点击流》。从介绍怎么产生的网站日志,网站的日志是什么格式,怎么解析这些结构化的信息,怎么存储起来这些解析出来的数据,怎么剔除那些没用的日志信息,怎么提高每天数据解析存储的性能,怎么把这些数据临时建立需要分析的数据表,怎么通过sas python来访问数据库的数据,怎么套sas模型来做那些用户的关联属性模型,这些分析的结论是否合理,多高的支持率置信度也可以应用到实际过程中去,怎么去监控这些投放的效果。种种的这些问题都让同学A感觉很困惑。这时候同学A开始找数据仓库的书开始看,知道什么是OLAP OLTP,什么是ETL,什么是中间层,集市层,怎么每天调度这些定时任务。通过几个月的学习,以及请教数据仓库的同学,同学A终于明白了每天的数据都在里面,他们都是什么产生,这为同学A在以后的数据底层表熟悉上打下了坚实的基础。-----------------更新-----------------------------------------------------------------------------------------------------就这样同学A折腾了数据库折腾了几个月,期间因为同学A有段时间在市场部门下面,所以市场部门的老大对同学A说,“我们希望能够建立起每天网站的运营监控体系,能够对每天的流量数据有清晰的认识,而对于网站的运营情况也能够了然于掌,比如用户都是从什么渠道过来的?我们希望能够在什么渠道如关键词还是暴风媒介上进行进一步的推广,比如用户都经常来我们网站点击什么频道,是数码产品还是女装鞋帽?”这一堆问题突然刚一个对整个网站或者整个电商体系都还不熟悉的同学A有点hold不住,而同学A也对自己有一定的信息,毕竟已经看了很多数据仓库方面的知识,对整个公司的数据都存在哪里都清楚明白。目前老大对他的要求已经开始需要学会能够应用到业务中去了。同学A先按照老大的意思,操起了excel。整理了一份自己觉得比较完整的excel表格,里面包含了【流量分析报表】【运营分析报表】,前者更多的是围绕网站的整个点击情况,包括网站的UV、PV、访问量、访问深度、平均访问时长、客单价、订单量、销售额,这些宏观的指标同学A觉得应该可以对一个网站的整体定位可以清楚明白。而既然流量分析,就不止步于对网站的一个基本认识,同学A回去思考了下,如果我作为老板会怎么样。“我当然关心我做一个网站需要花多少钱啊?”“我当然关心我花了多少钱赚了多少啊?” 同学A想想整个网站除了基本的架构搭建外,就是在市场推广这块花钱最多了,因为经常看到市场部的报表上写着,这个月暴风影音投了30万,360投了20万,百度关键词投了50万。当时同学A就在想如果这些钱都是我的就好了。=。= 然后想想只归想想,这也让同学A觉得渠道推广的确花了公司不少的money。于是乎同学A开始折腾起【流量分析报表】中的渠道推广分析模块,把公司推广的不同渠道都整理下来,分类了一下,包括SEO/SEM、硬广、媒介、联盟、SNS、微博微信。凡是公司接入一个渠道,同学A就整理一个渠道,而且通过每天的投入产品ROI等情况,进行对比。包括哪些渠道适合在需要短平快的情况下使用,哪些渠道适合慢慢做又不太会花太多成本,哪些渠道适合建立起公司比较好的口碑,哪些渠道是公司应该立即停止的。老板看到了同学A做的这份报表,心里觉得很开心。证明同学A是在这方面花了时间去思考的,其中在一些新媒体渠道,公司也是在做初步的尝试,这也让老板发现了新媒体的力量。不需要花太多的财力物力,就可以做一个事件营销或者热点营销。老板对A在渠道上的分析赞不绝口。过了几个月,公司发展的很快。从之前的一个小网站也发展到全国7个大区32个城市。一个几十个人的公司也短短发展到快1000人的公司,拆分了很多大区事业部。这时候老板把同学A叫进了办公室,对同学A说:目前公司发展很快,想了解下目前整个公司各个大区的情况,包括每个大区的几个城市的用户量、访问量、销售业绩。同学A为了能够通过excel展示出来的效果好点,就去百度了下excel的地图模板,刚好找到了一个不错的模块。可以通过vlookup匹配出不同城市的数据情况。而做了几天后,同学A也发现用户基本上都集中在广东、江浙、北京等地,销售业绩也都来源于这些地方。而男性购买的单价也更高些,女性购买的频次更高些。在同学A的脑海里,仿佛有了网站用户的一个画像。而公司发展的也超出同学A的想象,从一个卖数码产品更多的公司发展到一个全品类的公司。网站也多了很多频道,包括秒杀、团购、特价、会员馆。这时候老板又叫来了同学A,说打算在双11搞了大促,主要想了解下什么样的人会在我们网站选择在节假日购买特价商品。同学A想,我丫的也从来没做过这东西,不知道怎么做啊。也没有任何思路,就去找数据部门的同事聊了聊,其中博士B姐讲到,做用户画像其实在学术界是早有的概念,针对不同的用户画像做个性化营销。首先第一点,就是要明白我们网站的用户都是谁,都是什么样的,他们都住在哪里,有什么购物偏好;第二点,他们的生活作息是什么样,是经常朝九晚五上下班,还是不固定的购物时间;第三点,我们可以通过什么方式跟他们保持联系,是经常给他们发短信,还是发邮件,还是到地铁里去宣传;第四点,我们觉得他们大概在什么时候需要什么样的商品;第五点,我们怎么告诉他们。同学A在博士B姐的启发下,从用户的个人属性上、用户的行为偏好上、用户的访问来源上、用户的购买习惯上做了一星期的数据统计。得出了很多有趣的结论,在早高峰和下午4~5点访问量为主要高峰期,发生的订单购买主要在早上和晚上8点,他们经常通过百度搜索关键词的方式进来,而购买的65%也都是之前购买过的老用户。同学A把这些结论告诉了市场部门的同事,营销策划部门的同事们觉得同学A的分析结论很有启发意义。觉得在双11给这些用户投放百度链接,在早上10点和下午3点、下午6点、晚上8点分别搞秒杀、半价活动。而就在当天双11,整个公司都完成了一份全年都难以突破的业绩成绩。同学A在这次活动中感受到了数据分析带来的巨大商业价值,很有成就感。-----------------更新-----------------------------------------------------------------------------------------------------时间过的很快,转眼间同学A在这家公司公司呆了一年半,遇到了瓶颈。眼看和自己一起毕业的同学,还有一些刚毕业的学弟学妹们都开始找工作,而他们就业应聘到的岗位薪水都比同学A高。作为一个已经工作一年多的同学A来说,内心面临很多挣扎。是选择去和老板提要求加薪?还是选择另谋出路?同学A陷入了一段时间的困境。而这年,电商也是传统中的枪林弹雨,倒下的该倒下的,继续烧钱的还在找下一个干爹继续玩资本的游戏。当大家问到同学A在哪里工作,听说是国内一线互联网公司,都投以羡慕的眼光。而各种滋味,只有同学A自己清楚。最后,同学A眼看着和自己一起进来的一些兄弟姐妹们都陆续离开了公司,再也坐不住了。选择了和部门老大沟通,提出自己希望加薪的想法。说的也很简单,自己工作一年多了,而且自己也负责做了不少case。相信作为公司的同事们也都看到了同学A的成绩。老大听了这个意见,决定给同学A过几天一个明确的答复。过了一星期,部门老大约了下同学A,决定给同学A加薪1K。而同学A听到这个答复,也没有太多的诧异。本身很多一起的同学都选择跳槽的原因也是如此。同学A选择了跳槽,在各个招聘网站开始投起了简历。约见面试的公司有做游戏的、有做旅游的、有做物流的、有做社交的、也有做电商的。同学A鉴于深刻了解电商公司苦逼加班的现状,决定不想在电商公司再累死累活,而面试的情况并不如同学A想象的那么如意,貌似很多公司提了一些很技术的问题,同学A都没有很好的答上。同学A深刻体会到刚工作一年的经验想跳槽换家不错的公司,远比想象中的有难度。再看到北京这样的雾霾和房价,同学A毅然决然在那个寒冷的冬天,背起行囊,选择了南下。这次,来到了上海这座大都市。来到上海的第一感觉,浓厚的金融环境,而不再是北京那样的屌丝都在创业的互联网。而上海这块做数据分析,又是互联网的公司,屈指可数就那么几家出名的。所幸的是,这次同学A在之前那些面试的经验中,总结了不少教训。面试第一要学会总结,把自己过去的经验和介绍都一五一十的说清楚,不要给面试官很混乱的感觉。第二就是要诚实,突然是在一个公司本身对数据分析的定位就不清楚,问了很多算法工程和后台C++问题,让同学A觉得很茫然。其实如果你不懂就说不懂,本身的面试过程就是一个双方选择的过程。第三就是要做好准备,比如面试官在给你做提问的时候,肯定是先看了你的简历。你自己对自己的过往经历的一些细节都要能够回顾出来,比如你有没有在一些细节问题上的思考,为什么用mysql来解决,不用oracle来解决,为什么建议营销部门做拉新而不做激活,为什么当初选择了离职。这些问题自己都能事先想想。也便于自己在面试过程中有个心理准备。而正是这次不错的技巧总结,让同学A斩获了不少offer。包括知名旅游网站、零售网站还有一些创业公司。最终同学A觉得零售应该还是互联网公司的大头,选择了零售公司。上班第一天,同学A先在部门老大的带领下,认识了之前做这块工作的交接同学C。同学C原本是数据仓库部门的同学,因为一个项目的临时调度,支持这块的零售分析工作。部门老大让同学A先在数据仓库部门学习2周时间,同学A在数据仓库的这两周,看到大家都是在用oracle的数据库,语法和之前写的SQL基本都差不多。因为涉及到每次要导入导出的数据操作,数据仓库还用到了PLSQL等脚本。而PLSQL其实和SQL都差不多,同学A在3wschool上简单看了下就上手了。接下来的一段时间,部门老大看到同学A基本上也快上手了。觉得没什么问题,就让同学A开始做BOSS John比较关心的一张营收报表。主要涉及到的是整个公司每天的用户量、call center拨打量、转化量、订单客单价、送货成功率、以及最后的营收毛利gross profit。同学A这时候也是希望BOSS John能够看的比较清楚,就在主动搜寻一些图表方面的技巧,看到《图表之道》这本书讲的还不错,把一些excel的图表技巧都讲的很彻底。-----------------更新-----------------------------------------------------------------------------------------------------给同学A震惊到的是,从来没想到excel可以做到商业周刊那样的图片效果,这给同学A很大的触动。决定将excel好好学习一番。从excel的基本内容介绍看起,包括单元格、图标、函数、数据处理、数据分析、插件和VBA。而同学A也结合自己的实际工作经验总结一些常用的技巧和方法,比如怎么匹配两张表,怎么将数组变成一列,比如怎么快速搜索带“,”的字段,比如怎么将字符串的数字快速提取出来,比如怎么将分列数组按照逗号分列。excel从此成为了同学A的分析利器。很多同事都戏称同学A为“excel master”。然而只有同学A自己最清楚,自己永远不能只停留在对excel很熟练这样的程度,因为同学A对未来充满期待,希望能够有更大的发展。而环顾四周,发现周边的同学、同事都每天重复的朝九晚五的生活,每天都在聊着这个富家女怎么样,那个同事是不是结婚了之类的话题。同学A选择了走出公司,周末开始积极参加各种各样的沙龙组织活动,包括数据分析的,包括创业的,包括企业管理的。也就是这一次次的接触各类各样的活动,让同学A发觉原来其他人也遇到自己一样的困惑,也会有迷茫,也不知道自己公司的数据分析到底怎么样的定位比如合适,疑惑是公司的业务采取的措施是否正确,为什么公司的业务部门和技术部门总是死对头。同学A选择自己好好思考,为什么大家都会有这样的情况。回忆起数据分析的发展史,在国内被接受也才这么几年,而大家谈的更多的是数据分析、数据挖掘到底是什么,是对过去历史数据的剖析、分析,还是从中发现更多的问题和机会。同学A不在纠结于此,他选择了翻阅大量的国外的关于数据分析的案例,从那些实验中找经验。关注了很多数据分析、数据挖掘的网站、论坛、公众号,经常看一些比较有趣的资讯,看看行业的大牛们都在聊些什么。再结合比如手游行业的流失模型是怎么做,再衍生想想怎么应用到零售行业中去。而这段时间也把自己的分析思路,做到PPT里去。虽然老板还只是让同学A完成简单的数据统计就可以了,而同学A把自己尝试的一些新想法都通过大量的数据验证,做出了雏形。在excel里面倒腾了很多基础的数据,包括公司的用户都是什么年龄、什么城市、有无子女、什么收入、什么工作性质,同学A发现人群和自己在电商公司的人群性质很像,都是一线城市的年轻人群。而再结合自己公司call center的销售模式,同学A似乎发现了什么。年轻人更多的购物方式都是网购,而电话销售对于年轻人一群来说,不是最能接受的方式。同学A把自己发现的这个观点总结在PPT发给了BOSS John。然后BOSS John并没有给同学A太多的评论。过了两周,同学A继续做起了客户流失分析的PPT。里面把每天的客户流失率,每个月的流失率,每年的流失率做成了很大一张图。只要找出对应的月份,就大概可以估算出客户的流失率。客户流失集中在3个月内,3个月~1年是流失率降低的一个转折点,而过了1年如果还没流失,客户基本上再流失的概率会很小。再结合公司的推广拉新,分析了每个客户的成本是多少,是建议公司采取更多的广告投放,还是提高老客户的回头率,降低老客户的流失率。这些都在同学A的这张报告中写的仔仔细细。确认了数据没问题后,发给了BOSS John。BOSS John周五喊了整个小组一起开周会。在周会中回顾了下本周部门的工作之后,重点将同学A做的分析报告打在投影仪上,大家都一起看起了同学A分析的结论。同学A讲起自己是怎么考虑目前的公司经营状况,目前的数据都有什么,从数据上看到了哪些业务存在的问题,每天其他部门的同事的最大的痛点都在什么地方,自己又是怎么思考这些问题的,从哪些地方查的数据,可靠性如何,以及希望BOSS John给予哪些帮助。大家都点点头,觉得同学A分析的这些问题都很实在。目前公司的重点应该是放在老客户的维系上,而这时候BOSS John也说了一句话,公司最近刚接到消息,以后的广告投放的价格都涨价了,成本会越来越高。公司正打算对广告投放部门削减开支,对相应的一些员工进行重新安排。而大家似乎都明白了什么。——裁员过了一个月,同学A陆续听到市场部门的老大tannery离职了,短信营销部门的主管LIU SIR跳槽了。而作为同学A的上级领导BOSS John接到董事长的命令,希望即刻到北京去交接之前市场部门的一些工作。就在BOSS John飞往北京的一周后,同学A接到了BOSS John的电话,“目前公司的情况你也应该多少了解了,希望你能够支撑起整个市场部门的数据部门工作。”同学A听的有点云里雾里,自己平时不是那个说话最多的那个,也不是和BOSS John最亲的那个。怎么会让自己接起整个数据部门的工作,虽然还在疑惑,但自己还是对BOSS John说“我会继续加油,好好干的!”后来HRG姐姐找到同学A说道,“其实大家都看到你的想法,觉得你很聪明。平时也做了很多工作,加班加点认真负责。而且能够提一些自己的学习到的,很有自我驱动力。”同学A突然觉得“功夫不负有心人”。接下来的很多时候,同学A也不再是满足于自己做一些很漂亮专业的分析报告,而是更多的会和自己一起合作的小伙伴分析师B、分析师C一起聊如何改进目前的公司业务。而此刻只要BOSS问到同学A目前的短信到达率是多少,客户的回访率是多少时,同学A都能倒背如流。放佛自己内心有一个计算器,已经不用还再去写SQL查询了。想起老古话“心中有数”,感觉就是这样!过了2年多,因为公司的架构调整,整个行业的不景气,同学A选择了离开。事实证明,同学A也做对了。陆续的BOSS John也离开了公司。而在同学A准备选择下一家公司时,却接到了一个神秘的电话。-----------------更新-----------------------------------------------------------------------------------------------------手机显示是个固定的座机号码,同学A想难道是哪个公司又来邀请面试吗?这段时间同学A拿到了不少offer,涨薪也不少,甚至有开2倍价格的。而同学A也在左右为难,A公司离家近,B公司名气不错,C公司可以给股权,D公司是创业公司并且相对比较自由,E公司离家比较远不过项目不错。电话那头传来了一个中年男人的声音,这个自称是ZJM的先生对A说道:“您好,请问是A同学吗?”“是,您好。”“哎,您好。很高兴终于联系上你了。我是ZJM,是朋友john推荐我联系一下你的。John对我说了您很多的赞词,我们目前也是在做一家创业公司,希望您能够加入到我们公司的团队中来。”“啊?”同学A一时半会没反应过来,原来是当时的Boss John推荐的一家朋友的公司。主要做的是进出口外贸的电商生意,区别于X宝/Z东之类的模式主要是大部分提供海外代购的业务,而因为有内部的合作渠道,所以可以拿到更低的优惠价格。同学A听到这个介绍,内心有了一丝触动。其实同学A很久之前就已经明白自己想干什么。分析了自己的性格,自己属于那种主动进取型的老虎性格,而自己也比较喜欢爱折腾,如果能够走上创业公司的道路,也是自己的一个不错的选择。自己也不希望在大公司的环境里混吃混喝养老等死。而ZJM先生也是相当的有诚意,并不有聊太多的技术问题,问了下对电商这块的领域的一些模式怎么看待,家庭背景是什么样子,将来希望能够做哪些事情,对自己的爱好都有哪些。而A平时没少想这些人生的问题,对于自己未来的道路,多少有些明白。ZJM先生在电话那头说道:“那今天先聊到这里,过两天会安排下另外的同事再电话沟通下。”过了一个星期,电话那头又响起了。这次是个温柔的女生的声音,她叫ZY。是这家公司负责HR方面的同事。ZY说道:“上周我们Boss ZJM已经和你沟通过了我们的具体情况了。希望能够邀请到你加入到我们公司。经过一周的商量讨论,能给到你年薪30W,外加出差和行政类的补贴。另外通过试用期可以有相应的股权。”说实话,对于A这样一个还未满25岁的年轻人来说,这样的待遇真的让A有些心动。A第一次听到有这么竞争力的待遇,而自己内心也有一丝的激动。对于是否是创业公司,是否离家近远,这时候都不是问题了。而自己也是第一时间把这个喜讯告诉了爸妈,爸妈是很普通的事业单位的职工,听到儿子这个消息,都感到很高兴。一个星期后,A没有犹豫,来到了这家创业公司。第一眼,给A留下印象的就是。创业公司不再像A呆过的之前大公司的形象。这家公司只是很朴实的一层办公区域。没有非常华丽的前台,也没有很大的办公场地,有的只是十几个办公桌和三三两两的一些同事。而从大家的脸上也看能的出一份轻松和梦想启航。ZY同学接待了A,告诉A今天ZJM先生不在公司,去出差了。ZY先领着A熟悉了一下办公环境,认识了一下周边的同事。A观察了下,大概总共有15个人的团队。有10个都是做技术的,包括java开发,前端开发,产品经理。和5个做商务拓展的美女同事。上午就这么轻松的在一个团队熟悉的环境下结束,大家中午一起吃了午餐,大家都是聊的一些很轻松的话题,包括最近什么APP又火了,他们的模式是什么样子,XX公司又融资辣。A能够感受到大家都是很容易相处的同事。下午,ZJM回到了公司,安排了一个全体的迎新会议。ZJM也希望同学A能够承担起建设整个公司数据部门的角色。1.能够建立起整个公司的数据搜集框架,包括网站的数据,客户的数据,交易的数据等系统;2.能够快速支持公司的数据业务,包括商务的数据分析公司和大老板的数据需求;3.能够搭建起公司的数据团队,负责招聘人才和培训整个团队;4.对公司的业务负责,能够承担起数据推动业务的重任。A听完之后,倒吸了一口冷气。说实话,感觉自己一下子担子很重。自己从前都是自己单打独斗比较多,这次要承担起建设一个数据部门的重任。多少对自己的能力产生了一丝怀疑。A在会议上,说了自己的感想和打算,计划一周内把整个团队的将来的人员配置(20人的数据团队,5个数据仓库,3个ETL工程师,5个数据分析师,3个建模工程师,2个架构师和2个数据产品经理),以及怎么建立起公司的数据中心,包括公司的客户管理系统+交易系统+行为数据中心+风险控制中心+客户营销管理中心+财务管理中心+数据分析中心等。ZJM听完之后,点了点头。一星期后,A开始在公司演讲自己做的PPT,包括需要技术部门有哪些支持,包括数据中心希望怎么搭建,包括需要什么软件来支撑,包括数据中心以后怎么发挥数据的光和热。技术部门老大lu问了几个技术方面的问题,包括数据怎么搜集,可以安装什么监测数据的软件,之间的优缺点是什么。而产品经理基本都是点头支持,表示会全力支持A的工作。而本次商务都没参加这样的会议。接下来的一周里,技术部门都在忙着测试网站代码,准备近期的上线内测。A邀请了技术部门探讨过几次会议,能够在开发相应公司的时候,提前加入对应的埋点,方便数据的搜集。同时每块的埋点规范是什么,也整理了相应的PRD和需求文档发给了各位技术的开发人员。后面就是不停的推技术部门的同事,希望他们能够尽快开发完。时间很快,短短3星期过去了。A自己回顾了这段时间的变化,感觉在创业公司区别于之前就职的一些大公司,1.要敢于提出自己的想法建议,大家之间的想法都比较纯粹;2.工作的气氛比较自由,有下午5点就下班的,也有上午10点半才来上班的;3.很多事情都要自己动手解决,没有可以推卸给谁的时候;4.要有从0到1的心理准备,要不停的去和外界交流学习。网站如期上线,晚上大家一起去吃了顿大餐庆祝了一下。接着又去外滩18号酒吧,跳了一晚上。A觉得这才是自己想要的团队的氛围,大家都像是一家人。也许只有自己明白自己要什么,才不会迷茫,也不会困惑自己到底适合创业公司还是大公司。很多时候是机遇,也是巧合。-----------------更新-----------------------------------------------------------------------------------------------------三个月过去了,A顺利的通过了试用期。ZJM先生这天喊A进了办公室,对A讲:“我们现在公司的定位也是希望能够做区别于X宝这样的海外购业务。下周韩国和日本的商务会出国去采购,到时候网站上线了就会有很多订单。以后也会开展很多国家的业务。目前现在这片的市场还很空缺,我们也是希望能够赶上时代的浪潮。”在A看来,ZJM像是自己的一个老哥哥,对自己讲述着自己未来的规划和想法。这让A有些感动,之前几家公司的职场经历,大家都是很好的朋友和同事,但很少会聊的这么细,更何况是自己的老板。而ZJM也更多的时候没有以一种上下级的态势来处理之间的同事关系。A后来听说ZJM原来是从事互联网零售行业的一位老兵,连续创业了很多次了。23岁的时候就已经当时做了一款手机游戏卖掉2000万。27岁的时候已经在一家知名公司担任市场总监,29岁的时候选择了再次创业做外贸。这些年经历了由传统的零售到互联网化的时代变革,原来做外贸进出口,订单量特别多,很少会考虑去宣传什么,自己对接的是江浙沪地区的企业。直接拿到订单就开始联系合作的企业进行生产加工。那些年赚了不少。而最近几年行情大变,不再是那种不愁吃喝的年代。工厂工人工资需要涨,招聘的人越来越难找,进出口的产品也没有了以前的价格优势,大多情况靠的是原来的一些客户关系维系。A发现自己的老板原来这么厉害,心里很多崇拜。决定多向ZJM请教业务上的问题。想想自己当时22岁时候想过3年做上数据经理,过5年做上数据科学家的理想是多么的扯淡不堪。还是多踏实做点实事。晚上,大家部门几个人都聚餐吃了顿饭。也就在这时候,来了一位新朋友,来自北京的tina,据了解是ZJM请过来做项目经理,而这位空降的新同事在接下来的日子也暂时接管了数据部门的一些工作。ZJM介绍tina有着丰富的项目管理经验,在香港/美国都有很多年的工作经历。而tina第一眼给人的印象也非常的好相处。可A没有想到,就在tina入职后的3个月里,让A有了不少的烦恼。第二天tina约了下A,想多了解下目前数据方面都有哪些工作。虽然tina不是技术背景出生,A还是尽量用自然化的语言讲述了目前数据方面都大概有哪些工作内容和计划。tina听完之后也说道,目前公司做的这块海外业务和数据有很大的密切关系,后面应该会有不少的工作需要做。会后,tina让A整理了一份会议纪要。接下来,又约了技术部门/产品部门的几位同学一起讨论,打算自己内部开发一套客户关系管理系统的计划。大家都七嘴八舌地讨论开了,有人说要能给客户定期的发送短信,有人说我们要能接入用户的生日年龄的数据,也有人说希望能够打通营销平台,还有技术开发说开发会需要很长的时间周期。大家经过二周的时间讨论,需要敲定了具体的开发时间节点。接下来的几周开发时间里,tina都把A叫上去参加大大小小的技术讨论会议,一扯就是半天,刚开始还好。而后面随着其他业务部门还有老板的需求越来越多,而自己又要和技术不停的碰CRM的需求,自己算是忙的焦头烂额。自己想自己是做数据方面的,怎么也参与起了整个项目的开发讨论。又看看tina每天的工作就是写写邮件,好像大小的活儿都是自己干的,内心很不平衡。而A也把自己这样的情况告诉了自己的师兄Ben,Ben毕竟自己工作和创业多年,告诉A在职场这个情况都是很正常的。你要学会主动,学会承担,学会兑现承诺,更要学会拒绝。不然你就会被大大小小不想干的事情给搞晕。学会见缝插针,什么是重要的,什么是紧急的,自己列个每天的计划表。A点点头,觉得很有道理。后面每天的工作自己到公司的第一件事情,就是先想想自己每天大概需要做哪些事情,而哪些又是一些临时的突发需求。对一些没必要参加的大小会议,自己选择了拒绝。突然一下子,感觉自己的时间可以做主。而对于tina来说,倒是没有这样想。tina找到了ZJM,聊了下对A的印象,感觉A不太好管理。ZJM会然一笑。而这话正好被经过门口的A听见。A心想,这不是跑到老板那边打自己的小报告吗。心里想想很不爽!这让A顿觉不是当时那个有爱的大家庭的感觉。自己想说些什么,但又觉得是否有必要去说些什么。在那年过春节的时候,tina早早的休假了。A在大年三十想早点提前走,打电话想和tina沟通下,结果电话提示该用户已关机。A就写了份邮件给tina,说明了下情况。回家过年了。过完年,大家都陆续地来上班了。tina到达公司,约了A和部门的行政助理,和人事的一起开周会。重点讲了下有些人没有提前请假,就回家的事情。A知道是在说自己,心里没有什么想说的。就在第二天,A给ZJM提上了辞职信。写的也比较情绪化,感觉自己不能胜任工作,而且违反了公司没有请假的规定。ZJM晚上约了A到办公室,聊了下大概的情况,ZJM说这些情况都无需放在心上,自己知道实际的情况。让A继续好好工作,辞职信就先放下。A想还好老板理解自己的情况,暂时心里的委屈有些缓解。接下来的工作岁月里,A把公司当成了自己的家,每天都加班到很晚。自己在这次经历中深刻体会到自己随时都可能滚蛋,为了自己在职场不能被别人打败,甚至是被自己打败,自己开始做起各种准备。能够在自己的简历上添上很多亮点,每天开始整理回顾自己的每天的工作都有哪些,在实际的业务中起到什么作用,最后取得了哪些了哪些业绩。在猎聘网上,也放了一份简历。没多久就接到不少猎头的电话,上海有不少不错的公司有没有兴趣,可以去面试看看。A都拒绝了,感觉自己在目前的公司还是待的比较舒服的,天下乌鸦一般黑,说不定去了一家还不如现在的公司。-----------------更新-----------------------------------------------------------------------------------------------------A目前很清楚地明白自己的以后定位是什么。明白自己想要的是什么。经历过这么多得职场,遇到过形形色色的主管、老板、同事、朋友、合作伙伴之后,也对整个职场的人际处事有了更深的认识。有人说,职场就应该PMPMP(拼命拍马屁)。而A追求的恰恰不是这样的成就感,他需要那个内心深度的自己认可自己。对自己负责,想起了那个《三傻大闹宝莱坞》:追求卓越,成功就会出其不意找上门来。这一天是7月13号,A报名参加了一个大数据的线下沙龙聚会。主题介绍了分享互联网下的大数据分析应用。今天上海很热,外面的度数有38℃。可能大部分同学都想想还是在家吹吹空调、睡睡觉算了。A还是顶着大太阳坚持来了。过来签了下到,看到现场还是有不少相仿年纪的人过来。感叹了句,还好过来了。选择了个后排的位置坐下,等待2点的正式分享会。而就在这个时候,手机QQ响起来。之前在网上一直请教A关于数据分析问题的Ariel发来消息。『你也在那个大数据分享会现场?』『是的啊!』『我中午刚过来,你坐在哪里呀?』『我在第八排的靠走道的位置。』突然前面有个妹子站起身来,从A走了过来。A的第一反应,『哇塞!好漂亮啊!』Ariel客气地笑了笑,『你旁边没人吧,我可以坐在这边么?』『可以可以。』2点开始了,主持人上了台,首先来了场关于大数据的开场白。讲述了大数据现在已经由互联网每天海量的信息产生,区别于过往的传统BI报表分析。而今天所要分享的课题就是,①互联网领域下的大数据架构,主讲人是来自某国内知名上市公司的架构师;②大数据背景下的数据可视化应用,主讲人是tableau的技术总监;③如何应用大数据解决实际业务问题,主讲人也是来自某一线品牌的电商公司的市场总监。第一个分享主题,嘉宾主要介绍了目前某知名上市公司如何通过成千上万台集群解决数据并发量的问题,电商体系的框架架构有哪些,金融体系支付环节的架构有哪些,以及如何通过Hadoop和spark、hana做到数据的offline、online的数据迭代。第二个主题分享的更多是tableau的操作,因为现场很少有人带电脑,所以没办法实际体验操作一遍。不过A感觉到tableau在可视化方面还是做得很厉害,一些展示的图形还是很值得借鉴。最后的嘉宾重点介绍在做广告资源位上,如何应用上数据分析和机器学习。在不同的banner、tips、index、search、product detail、shopping cart上做实时的广告投放。结合用户现有的个人属性特征,和用户的实时behavior log,计算item值。A听得云里雾里,之前都没接触过这块。不过还是感觉不错,学习了很多。最后结束环节,抽奖,A幸运的抽到了《集体智慧编程》。那是一本介绍用python怎么开发推荐算法的书。回到公司,A没有太多的心思在数据分析上。脑子里还是回忆着Ariel的身影。想起还是勇敢的打电话约了Ariel周末有没有时间吃饭,可惜Ariel电话回道周末要加班。A有点灰心。有趣的是,A在刷微博看到了一篇文章《怎么用数据追女神?》&图(一)用数据追女神A觉得这也真是太逗了,居然数据分析的应用可以到人与人之间的约会上。A分析了自己和Ariel也只是第一次见过面,的确离6次还是有些差别。自己对Ariel也不是特别的了解,也不知道她的喜好,在哪里工作,平时都干什么。再想想自己的简单粗暴地鲁莽行为,感觉真是太不靠谱了。工作日的下班时间,A开始通过微博、微信关心起Ariel,聊聊最近都在忙什么,平时都去哪里玩。很快,Ariel和A聊的很来,大家都对欧美比较轻快的音乐感兴趣,喜欢好莱坞的科幻大片,了解到Ariel在乙方的数据公司工作,所以平时的工作时间段都比较忙,每天要应付甲方的各种数据需求。过了两周,A约了Ariel一起去看了刚上映的《环太平洋》,用淘宝电影购买了当时的电影票,不过那时候没有像现在的每周六半价这么给力的优惠政策,也没什么猫眼等给力的打折。ZJM看到最近A的心思都没有放在工作上,看到有些报表上的数据都填错了。约了整个部门的同事,晚上到一家日本料理店,聊聊最近的一些工作情况。晚上,大家都来到了这家日料店,整个店铺的环境就是按照日本的当地风俗装扮,看起来很有档次感。吃饭中,ZJM问了下A最近是不是有没有烦恼。A笑了笑,最近在追一个女孩。分享了下自己还看到一篇很有趣的关于大数据如何追女神的文章,ZJM听到哈哈大笑。追女孩有数据是不错,更多的是人与人之间的相处,要用心,而不是光靠数据。A听到觉得很有道理,实际情况比简单地数据表现复杂很多。这时候Tina说道,『哟,没看出A还是单身啊?看着应该像女朋友不少的样子吧。』A有些不想解释,毕竟这不是自己的作风。Tina又继续说道,『一般25岁还没有女朋友,要么就是比较花心,要么就是被剩下的屌丝。』A听到有点头皮发麻,顿觉tina怎么这么攻击别人。这时候ZJM笑道,在上海男生结婚平均年龄在30岁呢。Tina恭维道,『还是Z总,对数据很熟悉敏感啊,这样的行业数据都这么熟悉。』,站起身,给ZJM倒了杯清酒。-----------------更新-----------------------------------------------------------------------------------------------------然而这一年,外贸也过的不舒心。寒冬来的很快,虽然大家对外来进口的品牌很有好感,也很容易接受,但是对于一家想发展为几个亿业绩目标的公司来说,每天几十单还是任重道远。而面对欧债危机的蔓延,整个全球的经济都发展的不是很好。ZJM陷入了思考。公司刚成立1年左右,自己对通过国外进出口企业合作降低海淘成本也很看好。ZJM觉得应该行动起来,A也和ZJM一起动身去了香港。公司安排在香港先做一些线下的商超、地铁等人口繁华的地段进行品牌的推广。ZJM随便采访了几个路过的行人,问了下大家在选择海淘的环节都一般会关心哪些问题。有的说主要是看重进口产品的质量,有的说是看重了品牌溢出的价值,有的说欣赏海外海淘的这种方式,也有的喜欢更低的优惠价格。这和当时自己思考,一味通过价格优惠优势来吸引顾客的想法还是有些出入。也是在数据端为什么订单没有太明显提升的原因。A也觉得,这些实际的情况的确是很难坐在办公室里想清楚的。真正能做好数据的,理解商业的,是走出来!这时候A也有了一些灵感,觉得回公司好好分析下,目前整个网站顾客的新老顾客问题。做了一周,看到了很多惊奇的地方:①在国内下单的第一个客户是在上海的一个美国人;②下单量排名靠前的依次为母婴、化妆品、鞋包,而且以女性为主;③下单的客单价平均都比自己预期的要高,顾客有囤货的习惯;④老客户的回访率很高,而且是在特定的品牌上。A觉得,想要做好外贸海淘这块,真正需要服务好的,是那些有海淘习惯的老顾客。ZJM听到这个分析,回想起自己在香港的查勘经历,实际情况也验证了这几点。而自己没想到的是,有在国内的老外也有海淘的习惯。这是自己真没有料到的情况。ZJM迫不及待叫来的市场部门的BD和策划,希望能够做一个整年的海淘推广方案。重点是在母婴、化妆品等有知名度品牌的线下商场。A也理了一些方案,包括:1.定期发布新产品的信息,在各B2B、B2C网站更新自己品牌的产品信息,在产品位置排序权重中不要拖后腿;2.开发一套完整的CRM客户管理系统,包括对老客户的生日提醒,新品发布的提醒,半价打折促销等消息的提醒,客户对平台的反馈声音,同行业的微博讨论的热点监控;3.定期总结和分析每日、周、月、季度的业绩情况,每个环节的转化是否正常;4.对老客户声音的重视,安排专人的私人客服解决老客户反馈的问题和建议。功夫不负有心人,经过2个月的努力,公司从每个月1500单直接翻番到3000单,从具体的提升数据来看,3000单里有70%来源于老客户的。这个数据也让A坚定了信心,要做好这个CRM系统。A在网上找了几家这样的外包公司,聊了聊大概的需要,想了解下具体如果外包给第三方公司的话大概需要多少成本。而很多外包团队都反馈消息称,没办法给出一个确定的报价,需要A整理出具体的需求文档,最好有PRD可以提供出来。而A正好想起自己在大学时期,业余的时间还折腾过axure。找到了公司的部门产品经理bob,请教了大家可以怎样方便快捷的画出产品的PRD。晚上,为了感谢下bob,约了bob去最近的一家牛肉火锅店吃晚饭。正好也是想多了解了解产品经理这块具体都做些什么事情。说起这家牛肉火锅店也很特别,店铺的老板不是一个人,而是很多人一起筹钱众筹的一家火锅店。而这时候众筹也是一个很新的概念,大家听到的更多是关于众包的概念,对于众筹,还真是第一次听说。正好其中有个老板今天在,就给人介绍了下。众筹最初是艰难奋斗的艺术家们为创作筹措资金的一个手段,现已演变成初创企业和个人为自己的项目争取资金的一个渠道。众筹网站使任何有创意的人都能够向几乎完全陌生的人筹集资金,消除了从传统投资者和机构融资的许多障碍。众筹的兴起源于美国网站kickstarter,该网站通过搭建网络平台面对公众筹资,让有创造力的人可能获得他们所需要的资金,以便使他们的梦想有可能实现。这种模式的兴起打破了传统的融资模式,每一位普通人都可以通过该种众筹模式获得从事某项创作或活动的资金,使得融资的来源者不再局限于风投等机构,而可以来源于大众。在欧美逐渐成熟并推广至亚洲、中南美洲、非洲等开发中地区。国内众筹与国外众筹最大的差别在支持者的保护措施上,国外项目成功了,马上会给项目发钱去执行。国内为了保护支持者,把它分成了两个阶段,会先付50%的资金去启动项目,项目完成后,确定支持者都已经收到回报,才会把剩下的钱交给发起人。截至2014年7月,国内有分属于股权众筹、奖励型众筹、捐赠性众筹等不同形式的平台数十家不等。A之前对众筹这块还了解的不够深入,只是听说有非法集资的风险。当时也没听懂,就没放在心上。这个时候A问起了bob,“bob,你结婚了吗?”“还没呢,不过男朋友已经有了。打算年底结婚吧。”bob说道。”买房了吗?上海这边房价不便宜啊。“”是买啦,我和我男人是典型的房奴。他买在松江,我买在浦东这。还好我们没有结婚,不然我今年买的话,就算第二套房了,要多叫5,6万的税。“A笑起来,”土豪哈!“两个人就这样聊了一晚上,彼此都成了很好的朋友。而A对产品这块的理解,真的要多感谢感谢Bob对自己的帮助。第二天,A把产品的PRD画好后,发给了外包公司。对方报了个差不多的价格,计划开发周期是3个月,A把这个消息发给了ZJM。ZJM点点头,觉得A很不错啊,能够自己干起了产品这块的工作了。看到外包公司给出的价格也比较合理,让A找个时间,去外包公司当面聊下,可以的话签个合同。-----------------更新-----------------------------------------------------------------------------------------------------周末A和外包公司联系上,上午去拜访了。这家外包公司坐落在徐汇区的老田林,简单的环境,周末有三四个人在公司上班,看起来大家都在研究着自己的东西。A走进了丁总(外包公司leader)的办公室,聊了下想做成什么样子。A说道:『我们希望能够做一个CRM系统能够维护起我们目前的客户资料,主要的功能点有:营销过程中得客户资料支持,产品销售的业绩跟踪,以及客户的服务。重点场景包括:1.我们能够知道我们的客户是谁?是什么样的人?有什么特征?能够帮助市场人员分析现有的目标客户群体,如主要客户群体集中在哪个行业、哪个职业、哪个年龄层次、哪个地域等等,从而帮助市场人员进行精确的市场投放。2.能够对接各个营销方式,如SMS、iagent、EDM、客户端push消息。3.产品销售环节能够包括潜在客户、客户、联系人、业务机会、订单、回款单、报表统计图等模块。业务员通过记录沟通内容、建立日程安排、查询预约提醒、快速浏览客户数据有效缩短了工作时间,而大额业务提醒、销售漏斗分析、业绩指标统计、业务阶段划分等功能又可以有效帮助管理人员提高整个公司的成单率、缩短销售周期,从而实现最大效益的业务增长。4.客户服务模块能够有客户反馈、解决方案、满意度调查等功能,包括舆情的监控、客户通过短信、官网、微博的反馈意见,客户的满意度调查问卷结果,客户的投诉等。』丁总点点头,给A展示了之前做过的几个成功的项目,哪些可以直接造搬,哪些需要修改的地方。A问了大概需要的具体开发时间周期,大概每个模块的开发时间节点,每个模块的报价以及公司对接的哪个同事。中午两人去了楼下的一家东北菜吃了下饭,A觉得很久没有吃到那个在北京时候的味道了,菜量很足让A有些怀念。丁总说,自己也曾经是在某家公司的总监,和几个兄弟一起做技术方面的工作。后来公司调整,裁了不少人员。丁总就和自己的几个开发同事一起离开了公司,注册了一家开发的新公司。很多时间都是靠自己的之前客户帮忙介绍的订单,目前也接了华为一些比较大的项目,争取今年能够把公司的知名度做出。A下午回去后,和ZJM具体说了下大概的情况。ZJM审批了下这个项目,决定开始做。过了两天,ZJM安排A去面试一个来的应聘者。他叫Z,是刚毕业的同学,从简历上看得出Z在大学干了不少兼职的事情。但是都做得比较杂,来面试聊过之后发觉Z对自己的未来也是比较迷茫。对基本的数据库第一范式、第二范式这些还是有些了解,不过其他的关于数据分析的就知道的不多了。A面过之后,让Z回家等通知。事后ZJM问A怎么样,A摇摇头。这天,Ariel打来电话,问A晚上有没有时间,想请教A一些关于报告的问题。想了解下A是怎么快速地写分析报告的。A晚上如期而至,挑了家比较轻松惬意的餐厅。A介绍到当年自己做分析报告的经历,那时候做分析报告其实也是非常的菜鸟,后来看到一个蛮厉害的网站分析爱好者写分析报告,传说是每星期会写3~4份非常专业的报告,当时就偷偷的去看他是怎么写的。每天大神总会在艾瑞咨询、易观国际、百度数据中心、情报中国网搜刮一些行业数据分析报告,研究他们的分析报告框架和报告分析思路。了解每个报告的一些常用的图表、文字、分析结论的方法。把这些常用的图片元素和excel处理保存下来。而在写一个分析报告之前都会找业务方了解具体的业务都是什么样的现状,平时工作的内容都有哪些,难点是什么,希望得到技术和数据方面的什么支持。而这些困难和挑战当中,哪些是可以解决的,哪些是目前不能解决而未来有希望解决的,哪些需要得到什么样的帮助。A把大神常用的SWOT分析、波士顿分析、4P/5W1H等常用的市场营销方法整理了下,记忆中也找到一本关于《100个经营管理工具箱》的电子书,里面讲解了很多关于经管上的分析方法论。而对于分析报告中常用的先分析目前的现状,到发现目前的问题,到提出解决目前问题的方法,以及从目前业务中发现机会。这样的分析路线在以后的A写得分析报告中经常应用到。A告诉Ariel,写一个报告最重要的就是找到分析的框架,就像建房子一样。有个框架之后,就分析整个业务的前因后果、知其然、知其所以然并做到望闻问切。Ariel点点头,但还是有些不太能够理解。-----------------更新-----------------------------------------------------------------------------------------------------A细心的讲解了下,首先,要有一个好的框架,跟盖房子一样,好的分析肯定是有基础有层次,有基础坚实,并且层次明了才能让阅读者一目了然,架构清晰、主次分明才能让别人容易读懂,这样才让人有读下去的欲望;第二,每个分析都有结论,而且结论一定要明确,如果没有明确的结论那分析就不叫分析了,也失去了他本身的意义,因为你本来就是要去寻找或者印证一个结论才会去做分析的,所以千万不要忘本舍果;第三,分析结论不要太多要精,如果可以的话一个分析一个最重要的结论就好了,很多时候分析就是发现问题,如果一个一个分析能发现一个重大问题,就达到目的了,不要事事求多,宁要仙桃一口,不要烂杏一筐,精简的结论也容易让阅者接受,减少重要阅者(通常是事务繁多的领导,没有太多时间看那么多)的阅读心理门 槛,如果别人看到问题太多,结论太繁,不读下去,一百个结论也等于0;第四、分析结论一定要基于紧密严禁的数据分析推导过程,不要有猜测性的结论,太主观的东西会没有说服力,如果一个结论连你自己都没有肯定的把握就不要拿出来误导别人了;第五,好的分析要有很强的可读性,这里是指易读度,每个人都有自己的阅读习惯和思维方式,写东西你总会按照自己的思维逻辑来写,你自己觉得很明白,那是因为整个分析过程是你做的,别人不一定如此了解,要知道阅者往往只会花10分钟以内的时间来阅读,所以要考虑你的分析阅读者是谁?他们最关心什么?你必须站在读者的角度去写分析邮件;第六,数据分析报告尽量图表化,这其实是第四点的补充,用图表代替大量堆砌的数字会有助于人们更形象更直观地看清楚问题和结论,当然,图表也不要太多,过多的图表一样会让人无所适从;第七、好的分析报告一定要有逻辑性,通常要遵照:1、发现问题 2、总结问题原因 3、解决问题,这样一个流程,逻辑性强的分析报告也容易让人接受;第八、好的分析一定是出自于了解产品的基础上的,做数据分析的产品经理本身一定要非常了解你所分析的产品的,如果你连分析的对象基本特性都不了解,分析出来的结论肯定是空中楼阁了,无根之木如何叫人信服?!第九、好的分析一定要基于可靠的数据源,其实很多时候收集数据会占据更多的时间,包括规划定义数据、协调数据上报、让开发人员 提取正确的数据或者建立良好的数据体系平台,最后才在收集的正确数据基础上做分析,既然一切都是为了找到正确的结论,那么就要保证收集到的数据的正确性,否则一切都将变成为了误导别人的努力;第十、好的分析报告一定要有解决方案和建议方案,你既然很努力地去了解了产品并在了解的基础上做了深入的分析,那么这个过程就决定了你可能比别人都更清楚第发现了问题及问题产生的原因,那么在这个基础之上基于你的知识和了解,做出的建议和结论想必也会更有意义,而且你的老板也肯定不希望你只是个会发现问题 的人,请你的那份工资更多的是为了让你解决问题的;十一、不要害怕或回避“不良结论”,分析就是为了发现问题,并为解决问题提供决策依据的,发现产品问题也是你的价值所在,相信你的老板请你来,不是光让你来唱赞歌的,他要的也不是一个粉饰太平的工具,发现产品问题,在产品缺陷和问题造成重大失误前解决它就是你的分析的价值所在了;十二、不要创造太多难懂的名词,如果你的老板在看你的分析花10分钟要叫你三次过去来解释名词,那么你写出来的价值又在哪里呢,还不如你直接过去说算了,当然如果无可避免地要写一些名词,最好要有让人易懂的“名词解释”;十三、最后,要感谢那些为你的这份分析报告付出努力做出贡献的人,包括那些为你上报或提取数据的人,那些为产品作出支 持和帮助的人(如果分析的是你自己负责的产品),肯定和尊重伙伴们的工作才会赢得更多的支持和帮助,而且我想你也不是只做一锤子买卖,懂得感谢和分享成果的人才能成为一个有素养和受人尊敬的产品经理。Ariel将这个收藏在《数据分析报告怎么写》当中。-----------------更新-----------------------------------------------------------------------------------------------------过了两天bob跑过来,问A周末有没有时间,有个朋友组织数据分析活动聚会。A一口答应没问题。正想周末无聊不知道干嘛呢。平时发现在上海的数据分析聚会活动也很少,这次据说是bob的一个朋友组织的。对于能够在上海有这样的聚会A很兴奋。总算到了周六,A早上写完周报赶紧看看了今天分析聚会的主题《数据分析在企业中的应用》。中午吃了顿饭,和bob约了在人民广场地铁站碰面,这次聚会地址定在上海老站,那个地方在徐家汇附近,算是一个比较娴静的好聚处。Bob让A认识了下在这个行业做了十多年的翟哥,看到翟哥的第一眼,A觉得翟哥应该是一个比较老实的技术男,待人接物稳重,说话慢条斯理,长相敦厚。后来了解到翟哥是做了很多行业,汽车、电商、零售行业,SAS玩得很溜,也做了很多网站和论坛。发表过不少关于数据分析工具使用的文章,也整理了不少数据分析方面的资料。这次聚会还认识了base在杭州创业的朱哥,朱哥给人的感觉就是在外面创业的,像一个初创公司的CEO,拎着公文包,时刻准备着跟人谈生意的感觉。还有做外贸的萨姐,做美股操盘手的慧姐,以及和自己差不多大的D姐。今天邀请的是来自HD公司的高级数据分析师军军同学来做的分享,主要围绕数据分析在其零售公司中的一些实际场景的应用。2点大家都坐好,准备起分享的主题。军军同学主要介绍了HD公司的营销系统框架,产品→数据→营销→用户。产品主要根据季节、功能、属性、地区等维度做区分,结合目前已有的CRM/ERP/DW等系统的数据,通过不同的营销方式和不同种类的用户做个性化。其中数据方面的应用军军做了下重点分享,围绕用户是谁,用户干什么,用户有什么需求,我们可以给用户提供什么做了下分享,但A看得出来很多公司都是这么来做得,没有听出太亮点的地方。而在HD做营销的方面,巧妙的应用了新媒体的营销,通过微信朋友圈来制造营销事件,让大家都在讨论同一款产品还是颇有新意。另外有海外网站可以通过电脑摄像头来观察分析用户的表情变化,来搜集用户的反馈。2小时的分享让A觉得整个分享环节有些枯燥,日后A在做现场分享的时候也体会到了演讲的艺术,不光是抛给听众我要讲的东西,还要能够调动现场的气氛让听众在不知不觉中接受所讲的内容,特别是充足的准备是必要的。Q&A1小时的时间,有做淘宝店提问的,有做外贸提问的,有做母婴零售提问的,A停下来感觉虽然他们都是在做零售行业,但都没有一个系统的零售行业培训。或者说他们都渴望通过数据来改变目前的店铺或平台现状,而却不知所措。5点半大家选择了附近的一家饭店去吃晚饭,翟哥正式邀请A下个月来做下分享活动,A想如果准备准备应该没有问题。在接下来的一年中,A和翟哥、朱哥成了非常好的朋友,一起组织活动、一起做网站、一起做项目、一起周末周边游。A也没有想到,自己就这么搞分享活动渐渐爱上了组织活动,去南京、去杭州、去北京、去深圳做了很多次分享。这个行业的或多或少的人也都认识了A。而A自己内心深度也非常喜欢这种分享自己的想法、经验和思想。-----------------更新-----------------------------------------------------------------------------------------------------翟哥送了本车品觉的《决战大数据》给A,A也是迫不及待回到家大快朵颐。全书从为什么大数据说起来容易做起来难出发,以大数据构建未来商业利器结束,总共花费了11个章节,中间穿插着其在阿里的数据实践经验,A结合自己的读书体会,特将其总结归纳为以下50条:  1、大数据从来都不是免费的午餐,因为数据来源渠道的宽泛,难免出现偏倚误差。  2、人的断层是是大数据应用面临最严重的问题,这个断层包括沟通的断层、建模的断层,譬如现在收集数据的人不知道未来使用数据的人要什么?创建模型的人不知道未来数据是否稳定,使用模型的人不知道数据的来龙去脉。  3、从数据化运营到运营数据,是从看到用的过程。这个过程需要主动管理,需要更多的创新,需要学会问问题,问问题的过程就是寻找答案的过程,好的问题就是答案。  4、从商业角度讲,大数据的本质就是还原用户的真实需求。  5、数据价值的如何判定?首先看这个数据与你的目标是否一致,对你的价值是什么?其次看这个数据能否清楚的识别用户身份,以及反应出的对应的场景。  6、学会双向思考,关于数据的价值,对于企业而言,是实现企业资源的合理分配,而对于用户而言,则是对用户体验的提升改进,比如个性化的推荐系统就基于此。  7、场景与还原并行,前端还原为消费者场景,后端还原为业务需求。  8、数据的本质是还原,落地可能表现为收集元数据的方法,个人建议初期引入最小数据集的概念。  9、关于数据还原可以从两方面理解:①对人的行为目的的还原;②对制造原始信息的人的朔源。  10、活的数据才是大数据,这里的活主要从两方面考量:一是灵活收集数据,抓相关性,比如我们的克强指数;二是灵活动态的数据指标,动态的使用数据,将数据场景化。  11、 移动互联网时代,无线数据将是大数据的“颠覆者”。这个颠覆主要指无线数据的加入将原有数据的噪音加大,无线数据与原有PC数据的关系处理等。  12、无线数据分为wap和app两种,而APP的数据收集方式又有两种:①收集用户联网时请求服务器的记录②用户行为记录。  13、 APP对用户的识别主要基于手机的机器码,而机器码在不同系统中也有差异,差异体现在操作系统本身的差异和操作系统版本的差异。  14、 保证PC和无线两份数据的完整,通过用户体系将两份数据关联起来,就可以在分析过程中用彼此的融合来还原用户的行为,所以用户体系的建设在多屏时代尤为重要。  15、 关于数据价值,从数据的角度讲,估值就是通过不同的纬度去思考数据的价值。  16、 数据作为一种资产,不同的数据含金量必然不同,自然就会产生不同的价值,与此同时,同样的数据在不同环境中也会呈现出不同的价值。  17、数据的四种分类:①可再生与不可再生数据;②基础层、中间层、应用层数据;③不同数据主体对应的主体数据;④隐私与非隐私数据。  18、数据的五种价值:①串联与识别价值;②描述价值;③时间价值;④预测价值;⑤产出数据价值。  19、 数据分类与数据价值的意义,主要还是体现在数据产品的建立上,其应用思想体现在基础层-中间层-应用层上。  20、基础层收集那些数据,如何收集,如何保存等;中间层涉及数据管理与数据框架的搭建,应用层则是八仙过海各显神通。  21、数据收集的出发点是解决问题,此外数据的生命周期、收集背景都须注意。  22、 用数据是一种方法论,养数据则是一种数据战略,是基于更深的商业解释的商业决策。  23、 跳出固有思维圈,从旁观者角度出发,跳出0或1的选择,我们可以有第三种选择。  24、数据应用应该是小而美,而不是大而全。小而美指目标简单具体。  25、 如何利用数据框架做决策,简单四步告诉你:①确定问题,从解决问题的角度去收集数据;②整理数据放在一个框架内;③看框架与决策的关系;④根据决策行动,检查是否达到目的。  26、数据的盲点分为物理盲点和逻辑盲点,物理盲点是我不知道的,逻辑盲点是我知道但没被挖掘的。  27、 数据也有正负能量,正能量的数据告诉你如何成功,负能量的数据告诉你如何避免失败。  28、是否看到数据盲点的核心价值是,有没有看到应该看到的数据,有没有错失不应该错失的数据。  29、数据运营中的常见问题:①堵,日常报表信息量大,难以铺捉有效信息;②独,信息分散在不同部门,缺少有效组合;③慢,业务异动的处理往往是自上而下的推动;④漏,关键分析成果取得实效,但未实现沉淀。  30、 阿里的大数据实践一:数据化运营需要和商业咬合的非常紧密,所以数据也是混合在商业里,以假定稳定的方法去做业务上的对比、细分以及趋势预估。  31、 阿里的大数据实践二:假定数据是稳定的,意味着习惯于不去寻找一些新数据,用数据拿数据的方法可以将数据化运营和运营数据打通。  32、 阿里数据化运营的内三板斧之混:混出数据,只有具备商业敏感的分析师,才懂得使用什么数据来驱动公司实现经营目标,数据部的人和业务部的人经常混在一起。  33、 阿里数据化运营的内三板斧之通:打通混的数据,通是混、通、晒的关键节点,知道带着业务问题看数据或带着数据看业务,这就是通。  34、 阿里数据化运营的内三板斧之晒:晒出混和通的数据,数据能不能做到获取、使用、分享、协调、链接、组合之上,让自己变得超级简单和便捷,这是数据化管理运营中非常重要的一点。  35、 数据化运营需要有框架可依,做到如何证明业务是好还是不好,而这里的框架就是一个对业务进行指标化的分解,并通过有限多个指标来客观描述业务的状况。  36、 阿里运营数据的外三板斧之存:存是数据收集的开始,收集数据不是目的,让收集起来的数据如何产生价值才是最终目的。  37、 阿里运营数据的外三板斧之管:管是保护好存储数据,学会用数据产品来解决获取以及使用数据的问题。  38、 阿里运营数据的外三板斧之用:用是从收集数据到管理数据,在用数据的问题上,数据的分裂和重组,都能做到颠覆性的创新。  39、数据思维之MECE法则,不断地用逻辑方法将问题进行分解,直到不能分解为止,然后从根本去解决问题。  40、大数据的本质是人,数据研究的极点就是揣测变幻莫测的人性。  41、假定数据是脏的,在处理数据的时候,会像污水处理厂一样,每一步都问自己几个为什么。这种情况的出现,到底是因为数据脏了还是因为数据提验过程中做的不好。  42、 做好数据的质量评分,从反映数据的可信度和质量水平出发。  43、 学会慢慢的淡化数据,数据是有优先级的,在数据中有些是特别核心的,有些即使缺失了也没问题,所以,我们要学会真正坐下来盘点那些对公司最有价值,对用户最有价值的数据。  44、数据的标签化管理,数据的属性标签是人类经验判断的数据,是数据后的数据。  45、大数据价值的实现在于数据与数据之间的连接。  46、数据的实时化和实时性分层,我们千万不要把所有能力都用来处理实时化的问题,因为我们依然会有大量的数据需要在恰当的时机处理,有的数据是重要的,但并不紧急。  47、关于数据,未来是人机的结合体。人和机器的结合,或者人和数据的结合将是未来的一种进步模式,人类将通过数据变得更加智能。  48、未来,人身体中流通的不仅是血液,还有数据。  49、 关于数据分析,更准确的说法应该是信息分析,目的是寻找短板,这个短板可能是自己的,也可能是竞争对手的。  50、我们都说数据分析是指导决策的重要依据,但我们用什么来保证分析的正确呢?是不断的试错还是考验我们数据分析师(科学家)分析和利用信息的能力。总体看下来,A觉得这本书很通俗易懂。也抄下本书中讲到的【数据十诫】:①好的问题,答案就在里面。②在实践中提炼数据。③让数据变成科技,惠及更多人。④让数据跟着“人”走。⑤木有数据质量,神马数据都是浮云。⑥以“假定数据是可以获取的”去思考问题。⑦大数据安全,不是监管。⑧利用数据拿到更有用的数据。⑨建立数据的数据,才有进步。⑩让人做人擅长做的事,让机器做机器擅长做的事。在A之后的数据生涯里,这十条戒律着实影响了A的一生。-----------------更新-----------------------------------------------------------------------------------------------------那年毕业回家发展的同学们(某大拿建议说加上框架标题,接受这个意见:D)这年,南京的“油条”(注:油条为A在网上认识的某数据分析爱好者)发来邀请,向A倾诉道:“A,真羡慕你们这些在一线城市的。你看我们在南京、苏州这些鬼地方的,都没有什么做数据分析的,每天都停留在excel的报表中。像我们公司是做收藏品这块的,公司老板也就掌握那么几个固定的大客户就够了。基本上每个月的业绩就是靠那些客户来完成,公司内部也没几个人懂什么是数据分析。我也就是经常在群里和你们这些人聊了才知道你们每天都在做什么?什么时候来我们这边做做分享哈?”A在平时的群里看到大家也就经常聊聊一些不着边际的话题大概也都能感受的出来,二线城市数据分析师的“迷茫”。或多或少,也是因为没有那样的环境,作为一个小企业而言,很少会把重点放在数据能力的建设上。而特别在二线城市那些强调企业成本的情况下,更多的公司会选择成本更低、资历更浅的候选人。A也感叹道:“你们在二线城市的也不知道一线城市的痛啊!每天朝九晚五,花在路上的时间就有2、3个小时。平时工作都很忙,天天被领导压榨,天天背着KPI,如果完不成就要滚蛋,根本就没有幸福感可言哈!”“所以在哪儿都不好混啊!”油条说道。“那您什么时间可以来南京组织下活动分享分享呗!”A思考了片刻,还是答应了,“这个月底要不我们来组织下?”“太好了,我们在群里组织下。把南京的小伙伴们都叫上,看看他们都有哪些想法,然后把场地和设备都搞定了。”大家听到要在南京搞数据分析的聚会,都感到很兴奋。A有一种大家回到校园时代的感觉。这种似曾相识的感觉很珍贵。特别是在职场呆过几年之后,看过那些不堪回首的种种,很希望那种人与人之间的纯真。也做数据的时候也是,数据一定程度上反映了客观事实,而这往往会和人与人之间的利益关系相冲突,有些数据该不该说,有些数据能不能看,几年的感受让A觉得有些事情还是不知道的好。A想,既然要搞次聚会,就不要人太多,避免过往历史经验教训人多嘴杂,意见不统一。大概约定控制在30人左右。安排油条负责大家的报名工作,看下具体定在什么时间比较合适。超出A的意料,整周的报名人数也就22个人。这有些打击到A的信心,另一方面也感受到二线城市的数据分析师的窘境。回忆起当时自己的大学同学,那些回家发展的,很多都是希望能够稳定、不要有太多冒险走南闯北的。像和自己之前的室友SWC,大学一毕业就回了苏州,找了一份简单的银行工程师的工作,平时的生活也很舒适,周末就宅在家里看上网看电视。日子也算过的不错,父母亲也希望他能早点结婚。SWC对于这样的生活节奏也习以为常,日子久了看看那些在一线城市的同学也会有些无聊。也有回家继承家业的同学WY,其父亲是一家纺织工厂的老板,希望WY能够回家帮忙。每天的事情就是帮着家里的生意打理着和客户之间的关系。日子过的有些小忙,不过也没什么压力。每年也算有个几十万的纯毛利。还有个同学LJ,毕业来了上海,在上海一家广告公司做了两年销售,那年在2月14的情人节,和一个一起上班的女孩子两个人在一起逛街的时候突然哭了起来,说压力好大。自己来上海也几年了,感觉自己是一无所有,又不好意思回老家工作,老家的很多人听说她在大上海有份很体面而且薪水不菲的工作,可是很多老家的人不知道这份钱和大上海的房价比起来只是杯水车薪,当时她哭着说想回家,安安静静的找份工作过简单的生活。因为没有找到合适的男朋友,回家还有个想法就是在家找个男朋友。后来有位大姐安慰她:女孩子没必要在外面风风火火的打拼,到头来只会让你觉得很累很累,而且一般也不会找到你想要的成就感,你需要一份稳定的工作,在年轻的时候享受你的青春,想结婚的时候用心看用心寻找一个爱你的男人。当时LJ仔细想想,人有的时候就是这样,有很多无奈。后来LJ回了老家,过的貌似比在上海开心很多。在二三线城市固然没有一线城市那么广阔的机会,而现在为了引进人才二三线城市也提供了很多优厚的福利给高新人才还有更轻松的居住环境。而希望能够年轻的时候拼搏一下的话,一线城市无疑是更好的选择。更新-----------------更新-----------------------------------------------------------------------------------------------------|互联网金融真的来了这一年对于A来说,有款产品对A影响非常深刻。每天A都会在心里计算着今天有多少收益,每天看到自己的支付宝上能有10块钱的收益,心里就别提多高兴了。要知道A平时为了省钱,早上几块钱的包子和坐公交的钱都省了。而A不知道就在这一年的前几个月,在杭州支付宝大楼里有个叫“春秋书院”的闭关室,立马有一群紧张而兴奋的年轻人在忙碌着。项目室巨大的落地窗前,站着一个面色凝重的人,他就是天弘基金创新事业部技术负责人樊振华,一个在金融IT领域有着丰富经验的老兵。他看着窗外川流不息的汽车,深深地吸了一口气。这是一个只有代号但没有名字的保密项目,内部称之为“2号项目”,2号项目的旺旺交流群的签名上写着“2013支付宝秘密武器”,足可见这个项目的重要性。截止到今天,中国近亿人因为这个项目受益,改变了自己的理财习惯。这个神秘的项目,就是余额宝。那么余额宝的初期业务背景是什么呢?由此引发出对IT系统建设的需求又是什么?余额宝的业务背景在支付宝上卖基金的想法,在天弘基金电商负责人周晓明心中经过多次的思考和锤炼,已逐渐清晰。他在向阿里小微金服集团国内事业群总裁樊治铭介绍余额宝模式的雏形时,准备了5分钟内容,但只讲1分钟后,双方即达成一致意见可以做、快速做,并期望余额宝能在6月上线运营。双方随即行动起来,进行了简单的分工,支付宝负责余额宝在支付宝端的建设工作,而基金公司端负责与支付宝对接的直销和清算系统的建设重任,就落到了樊振华头上。这是一个从来没有人做过,也没有人知道该如何做的创新业务,面对支付宝巨大的用户群体,在仅不足3个月的时间内,该如何设计基金的清算和直销系统,成为了樊振华面临的头号难题。2013年3月,樊振华一行与支付宝技术方进行整体架构沟通,这是传统金融行业建设思路与互联网技术路线的第一次冲突,双方在闭关室足足讨论了4天,确定下来一期系统的建设目标和要解决的问题。当时主要面临以下难点。1. 要能支持“千万级”用户的系统容量。(1)传统的基金销售系统主要是和第三方销售机构,如银行理财专柜、网上银行进行合作销售。直销系统能够处理每天几万到几十万个用户的开户就完全够用了。但“余额宝”面对的是数以亿计的支付宝用户,用户的开户数量和并发量与传统业务有数量级的差异。(2)传统基金的TA系统面对的用户是以理财为目的的申购和赎回,因此每天清算的交易笔数要求也只有几万到几十万即可满足。但余额宝的业务模式里,支付宝用户的每一笔消费,都会转化为一次基金赎回,又加上海量潜在用户群,每日清算笔数将会是传统模式的百倍甚至是千倍。2. 直销系统和TA系统的融合。传统的直销和TA是分别独立的系统,但对于接入支付宝这种入口交易空前频繁、数据量极为庞大的需求而言,传统的分离式文件交互方式不能满足效率和优化利用资源的要求。因此,项目组提出了功能整合、功能简化、当前库和历史库分离的技术结构。让直销和清算系统使用同一套数据库,来避免数据拷贝带来的业务时延。3. 7×24小时的基金直销系统。由于渠道的原因,传统基金直销系统的大多数开户出现在银行的工作日。因此系统能做到5×8小时即可满足大部分客户的需求。但互联网的属性是7×24小时,因此系统也应具备7×24小时不间断的服务能力。4. 支付宝与天弘基金双方的数据传输与系统交互。余额宝的直销和清算系统会部署于天弘基金在天津的数据中心,而支付宝的“余额宝”系统部署在杭州,双方之间的通信协议,远距离数据传输面临很大的挑战。这样,根据早期建设需求,余额宝一期系统的架构和系统容量规划展开了序幕。一期系统建设距离上线时间只有不足3个月,樊振华和系统开发商金证科技的技术人员进行了紧张的架构工作。经过数次讨论,双方有了初步的统一意见,并形成了建设目标。1. 基于传统的IOE基础架构。在如此短的时间内,有很多功能优化、业务流程更改等开发工作,再配合相关的测试,控制改动的范围。因此基础架构决定采用传统的HP/IBM/Oracle/EMC方案,靠使用高端硬件设备的方式,提高一期系统的整体容量和性能。2. 直销和TA的系统整合。(1)为减少直销系统和TA的数据传输延迟,决定两个系统使用同一套数据库架构。(2)为避免单点故障引起的业务中断,应用层的直销和TA平均分布在每台服务器上,确保每个应用服务器的角色具备可替代性。3. 跨省的MSTP专线链路。天弘基金清算和交易中心在天津数据机房,通过架设两条4M的MSTP专线,连接到支付宝杭州数据机房。两条专线之间互为备份,确保通信链路安全。一期系统的架构如图1所示。从中可见,支付宝实时开户、申购和赎回等实时请求,与每天的离线对账文件,都通过MSTP专线与一期系统进行通信。其中实时请求通过RADWARE硬件负载均衡分发到两台前置机,前置机在做完报文解析后,将请求发送到XP的消息队列。然后由BP以主动负载均衡的机制,从XP中取出相应请求进行处理,处理结果保存到后端数据库中。图1
一期系统构架图幸福的烦恼 然而,在一期系统上线以后,面对业务量暴增的情况,系统遇到了瓶颈同时也出现了新的问题。日,一期系统如期上线,业务量远超预期,给系统来了一个“下马威”。上线后数分钟内就达到了18万的用户。在日晚上,余额宝的用户量已突破了100万。日,余额宝用户数达到251.56万。在如此高速的业务增长压力之下,一期系统开始面对前所未有的直销和清算压力的冲击。这个新建的系统,是否能支撑起如此大的容量冲击?什么时候系统会达到瓶颈?这些问题,悬而未解,让樊振华陷入了深深的危机感中。经过了数个失眠之夜后,他还没找到解决问题的办法,但他清楚地知道,再这样下去,一期系统将会很快面临瓶颈,成为业务增长的绊脚石。樊振华的担忧很快变成了现实,随着用户量的暴增,数据库的负荷越来越高,实时请求的响应时间开始变缓。清算时间由最初的半个小时慢慢地变成一个小时、两个小时、四个小时……清算系统每天会在凌晨收到支付宝最后一笔确认文件后开始清算,天弘基金的后台运营人员会等候清算出结果以后,发送给监管行和支付宝。随着这些人回家的时间越来越晚,抱怨声开始出现,樊振华的压力也随之增大。系统的扩容势在必行。然而,当樊振华收到金证科技发来报价表,打开第一页时,他惊呆了。如果依然使用IBM/Oracle/EMC的传统架构进行扩容,要达到预定目标,仅仅硬件设备采购及中间件的Licence费用就达到了数千万元人民币。这个数字对于樊振华来讲,甚至对于天弘基金这家公司来讲,是一个天文数字,超过了这家公司以往所有对于IT投资的总和。并且设备采购到货就要一个月以上,想在一期系统瓶颈出现前完成扩容几乎不可能实现。传统的路线走不通,就要找新的方法。当他得知阿里云计算作为一家云计算服务提供商,使用云计算支撑了海量的互联网企业及阿里集团自身业务时,樊振华开始和阿里云计算进行接触。2013年7月,樊振华组织阿里云、支付宝、金证科技的人一起探求解决方案。最终经过慎重思考,樊振华心一横,说了句:“不要再讨论了,上云,上阿里云!”上云吧,腾飞上云之路,困难重重,举步维艰。上云并非一句话那么简单,使用云计算支撑当时国内最大的基金直销和清算系统,前无古人,但开弓没有回头箭。樊振华召集了支付宝、阿里云、金证科技的人一起,启动将直销和清算系统整体迁移到云计算架构的二期系统。阿里金融云为二期系统提供了的云计算服务有ECS(弹性计算服务)、RDS(关系型数据库服务)和SLB(负载均衡服务)。这三个服务分别对应于一期系统中的HP和IBM服务器、Oracle数据库和硬件负载均衡设备,但这三种服务的单个实例的性能和容量,都比相应的物理设备小上一大截。如何用单机性能更小的云计算服务来支撑那些单机性能更强都难以支撑的系统呢?经过深入的了解,樊振华在心中已有了答案:“蚁群战术”。俗话说“三个臭皮匠,顶个诸葛亮”。“蚁群战术”就是要充分利用云计算服务的快速部署能力(5分钟内可以创建数百台ECS)、弹性伸缩能力和安全稳定等特性,使用水平拆分算法将应用系统水平拆分为数十组甚至上百组平行运行的小系统,这些小系统组合起来可以支撑起海量的请求和超高的性能。此时已进入到2013年7月中旬。按照对一期系统运行状况趋势的评估,一期系统的容量在没有任何运营推广活动的情况下,只能支撑到9月份便会面临瓶颈。在理清楚二期系统的性能和容量设计目标时,樊振华又接到了新的压力:天弘基金和支付宝管理层已决定余额宝要参加阿里“双十一”购物狂欢节,这对于支撑后台的技术人员来讲,绝对是一场恶战。很快,传来了支付宝对天弘提出的双十一支撑要求:1.
实时请求的响应要超过1000笔每秒;2.
清算系统要支持单日3亿笔交易清算,清算时间不得超过150分钟;3.
2013年10月份支付宝会展开相关运营活动,系统必须在10月份前上线。面对这样严酷的要求,且只有两个月的系统改造时间,项目组遇到了巨大的困难。1. 如何进行系统水平拆分?按照“蚁群战术”,需要将原有系统的业务逻辑水平拆分成多组小系统。而如何才能保证拆分尽可能平均和拆分后的扩展性是绕不过去的难点。水平拆分依据哪个字段来拆分,需要根据业务特性慎重考虑。一个细节考虑不到会导致全盘皆输。2. 将Oracle替换为MySQL。无论是单机性能还是功能,MySQL都无法与单机的Oracle匹敌。使用MySQL代替Oracle,原有的存储过程该怎么办呢?一些涉及多表join的操作在MySQL下执行效率较低该如何解决?工作量有多大?没人清楚这一系列问题的答案。3. 数据迁移工程浩大,难度极高。一期系统部署在天弘基金在天津的数据中心,而二期系统却部署在阿里云在杭州的节点,如何做到无缝割接?并且考虑到互联网用户的用户体验,一期系统和二期系统在上线期间,不允许出现业务中断,项目组必须在大数据量、异构环境、远程迁移等复杂环境下,实现无缝迁移。做到上线过程最终客户无感知。4. 直销和TA系统的资源争抢问题。一期方案将直销和TA进行了融合,来解决数据交互问题。但由于传统的TA与实时请求在不同时段运行,所以采用了主动争抢机制的负载均衡及贪婪式的CPU占用,以保证充分利用硬件资源完成业务清算。这在传统模式下没有问题,但一期系统进行合并以后,TA和实时请求的应用系统部署在同一组服务器上,每次TA系统启动清算的时间段,会严重影响实时请求的响应时间,甚至造成响应失败。5. 整个架构保持两年以上系统扩容能力。上云后的系统必须能够满足业务量飞速高涨的情况下,可以根据业务量的大小做到无缝升级。两年之内,不能因为扩容而改变系统架构。在保证扩容性的前提下,经济和投入必须控制在合理范围内。这些问题,不管是樊振华,还是金证科技,在分布式系统和云计算这个领域,虽然了解很多,但真正动刀枪,还是第一次。即使阿里云和支付宝的技术人员,在这么短的时间内,要解决这么多难题,也都不禁捏一把汗。走投无路,背水一战 樊振华清楚自己已没有退路,只有往前走才是出路。他召集阿里云、天弘基金、金证科技和支付宝的技术人员在闭关室进行封闭式开发,一场艰苦的战役就此打响。“管不了那么多,这些问题只能一个一个解决。”樊振华每次面对棘手的困难时总会说这么一句。最终困难都被解决了。1. 系统水平拆分。系统水平拆分的基本原理很简单,就是按一个业务字段,如支付宝协议号作为拆分依据。对字段取哈希值以后根据拆分虚节点的个数进行求模。这样就可以简单地将所有请求拆分成多份。在二期系统的拆分过程中,经过测算,需要使用50组业务节点,但在拆分时,考虑到扩展性,并未简单地拆分成50份,而是拆分成1000份,然后每个节点处理20份数据。这样做的好处是将来如果系统遇到瓶颈,需要扩容时,不需要对拆分算法进行修改,而且数据平均迁移时只需要以库为级别进行,从而避免了拆表。2. 去Oracle。首先是将存储过程等MySQL不支持或支持不好的数据库逻辑上移到应用中。其次要将复杂度比较高的SQL语句进行拆分,变成多条简单的SQL语句,从而提高MySQL的执行效率。阿里云的RDS提供的慢SQL查询功能,可以将整个系统执行效率比较慢的SQL呈现给用户,帮助用户优化SQL语句。3. 数据迁移。数据迁移是这个项目的重头戏,迁移过程中使用全量+增量+数据订正+并行运行检查等几个阶段完成。二期系统在生产环境部署完成后,将在天津的一期系统的全量数据打包,按照指定拆分算法拆成1000份以后,通过专线导入到二期系统中。导入以后,将天津的一期系统前置机转发服务打开,将所有实时请求转发到二期系统,这样两个系统同时处理请求。然后,在交易日之后,以一期系统为准,将二期系统中的数据进行订正和补全。这些所有的操作必须在24小时内完成是迁移成功的必要条件。数据迁移成功之后,两个系统实际上在并行运行。需要使用脚本每天对比两个系统中的数据,连续2周数据对比无误以后,由支付宝将请求地址从一期系统切换到二期系统,整个迁移才算完成。4. 直销和TA的再次分离。借助云计算快速灵活的机制,将直销系统和TA系统的应用逻辑层进行完全分开,分开后的直销和TA系统分别运行在一组ECS中,两套系统后端连接同一套的RDS数据库服务。这样既能保证TA和直销系统在应用性能上不会发生争抢,又不会发生数据传递问题。5. 扩容性保证。除了在水平拆分算法时就采用双重映射的机制来保证架构本身的扩容性,还充分利用了阿里云云服务可以无缝升级的特性,来进行容量保证。以RDS数据库为例,阿里云提供了新1型到新7型等7个型号,性能逐渐增强。最终选择了新5型作为数据库服务器,并没有一步到位采用最高型号。这样当系统出现瓶颈时,就可以通过将所有RDS从新5型升级到更高型号来将系统容量翻倍。图2
二期系统构架图这种架构(图2)将清算和直销的集群分为两组独立的集群,但使用相同的RDS数据库服务,既避免了在应用层面的资源争抢,又可以做到数据的共享。其中,实时请求会先到达4个互为冗余备份的SLB(负载均衡),避免SLB单点故障。SLB将请求转发给5台前置机,前置机会按照拆分算法,将该请求路由到相应的节点进行处理,该节点处理完毕后,数据保存到改组对应的RDS数据库。而每天的对账文件则通过文件服务器进行拆分,然后清算系统的每个节点主动取出自己处理的文件进行清算处理,再保存到数据库。历经磨难,涅槃重生经过两个多月的封闭式开发,在上线之前,二期系统进行了严格的压力测试,测试结果让樊振华悬着的心终于放下了。TA系统,可以在6400秒内完成3亿笔订单的清算并将清算结果返回给支付宝,完全符合清算时间不得超过150分钟的要求。对开户的实时请求,项目目标要求达到1000笔/秒。压测的数据轻松达到5000笔/秒,并且具备11000笔/秒的储备能力随时可放开。二期系统终于在日上午正式上线成功。在上线的前一天,一期系统每天完成清算需要8个小时,而上线当天,二期系统完成了第一次清算,只用了不到30分钟。这个结果让那些经历多个不眠之夜的后台运营人员眉开眼笑,终于可以晚上回家睡觉了。图3 实时请求的响应时间实时请求的响应时间老系统为180ms,上云以后,平均130ms,效果十分明显,如图3所示。万事俱备,只欠东风,只有经过“双十一”海量交易量的摧残,才能验证系统是符合设计要求的。日,余额宝首次参加“双十一”大促,完成1679万笔赎回,1288万笔申购的清算工作,成功为639万用户正确分配收益。当天处理了61.25亿元的消费赎回,119.97亿元的转入申购。完成这些所有的清算工作,系统只用了46分钟。云计算是万能的吗?这一路走来,直销和TA系统经历了分开、合并、再分开的演进路线,让樊振华想起一句话“天下之势,分久必合,合久必分”。过去这么多年,以IOE为主的集中式计算已告一段落,在这个互联网的时代,云计算和分布式的结合代替集中式计算已深深植入他的脑海之中。此时的樊振华,已和一年前的他截然不同——一年前,他还在为各种硬件选型、采购流程而忙碌。但一年后,他更喜欢在人们面前谈起的是云计算、大数据、分布式、用户体验、互联网的IT架构等名词。具备强大水平扩容能力的二期系统,足以让这个饱经历练的老兵高枕无忧,休息一阵子,再也不用担心系统容量和高并发的问题。但有一颗种子,在樊振华的心目中开始发芽:如今这个二期系统已不是简单的直销和清算系统,每天沉淀在50个数据库里的海量用户和交易的数据量在暴涨,如何存储这些数据?如何使用这些数据?该如何才能产生最大的价值?未来如何发展?有了这颗种子,樊振华休了个短假,他又开始了新的征程,投入了大数据的怀抱,这一次,他选择了阿里云提供的ODPS(开放数据处理服务)来作为自己的大数据平台。ODPS目前是阿里集团进行离线数据处理的平台,支撑了阿里金融、淘宝等多家BU的大数据业务。有了这个平台作为后盾,樊振华清晰了很多,他脑海中复现了一幅画面:在不久的将来,通过对目前沉淀的海量数据的分析,可以把握上亿用户的理财需求及不同的风险接受能力。而天弘基金,根据这些客户的情况,提供更多更丰富的理财产品。或许到那一天,让天下所有的人享受到符合自己的理财服务真不是梦想了。-----------------更新-----------------------------------------------------------------------------------------------------也正是余额宝彻底了打破了整个传统金融的模式,给整个传统银行、证券基金公司、互联网公司都带来了巨大的影响。给像A这样的理财小白也带来了翻天覆地的生活变化。对此A一直心怀感恩,感谢这个时代,这个互联网金融时代的到来。然后互联网金融的本质并非名词那么的高大上或者令人不可捉摸,围绕余额宝背后的产品其实是天弘基金发售的一款货币基金,因为货币基金有相对很小的风险,同时收益又比传统的定期活期存款收益高,因为受到了广大小白的欢迎,而余额宝的意义再不仅仅是收益这么简单,它创造了一个时代。包括以后的P2P、股权众筹、产品众筹等都陆续火了起来,互联网金融也不再只是完成taobao

我要回帖

更多关于 新网站上线 的文章

 

随机推荐