大数据方面数据库核心技术术有哪些

您的 IP 地址/地理位置:220.177.198.53江西&&吉安&&联通
当前位置: &
大数据最核心的价值是什么? 17:14:57&|&编辑:hely&|&查看:&|&评论:
从庞杂的数据背后挖掘、分析用户的行为习惯和喜好,找出更符合用户“口味”的产品和服务,并结合用户需求有针对性地调整和优化自身,就是大数据的价值。 诸位觉得大数据的核心价值是什么?
大数据的类型大致可分为三类:
1、传统企业数据(Traditional enterprise data):包括 CRM systems的消费者数据,传统的ERP数据,库存数据以及账目数据等。
2、机器和传感器数据(Machine-generated /sensor data):包括呼叫记录(Call Detail Records),智能仪表,工业设备传感器,设备日志(通常是Digital exhaust),交易数据等。
3、社交数据(Social data):包括用户行为记录,反馈数据等。如Twitter,Facebook这样的社交媒体平台。
从理论上来看:所有产业都会从大数据的发展中受益。但由于数据缺乏以及从业人员本身的原因,第一、第二产业的发展速度相对于第三产业来说会迟缓一些。
1985年,我国国家统计局明确地把我国产业划分为三大产业:
1、农业(包括林业、牧业、渔业等)定为第一产业。
2、工业(包括采掘业、制造业、自来水、电力、蒸汽、煤气)和建筑业定为第二产业。
3、把第一、二产业以外的各行业定为第三产业。
第三产业即除第一、第二产业以外的向全社会提供各种各样劳务的服务性行业,主要是服务业。其中第三产业可具体分为两大部门:一是流通部门;二是服务部门。再细分又可分为四个层次:
&&&第一层次,流通部门。包括交通运输行业、邮电通讯行业、物资供销和仓储行业。
&&&第二层次,为生产和生活服务的部门。包括金融业、商业饮食业、保险业、地质普查业、房地产业、公用事业、技术服务业和生活服务修理业务;
&&&第三层次,为提高科学文化水平和居民素质服务的部门。包括教育文化、广播电视事业、科学研究事业、卫生、体育和社会福利事业;
&&&第四层次,为社会公共需要服务的部门。包括国家机关、党政机关、社会团体、以及军队和警察公安司法机关等。
我们可以看出,由于某些客观原因,相对于第一产业和第二产业来说,第三产业凭借自身的优势,大多汇聚了当前最海量的数据以及大批的科研中坚力量。接下来让我们看一些典型例子,当前新形势下与三大产业密切相关的大数据应用。
(1).第一产业
孟山都(Monsanto | A Sustainable Agriculture Company),农业
孟山都是一家美国的跨国农业生物技术公司,其生产的旗舰产品抗农达,即年年春(Roundup)是全球知名的嘉磷塞除草剂,长期占据市场第一个位置。该公司目前也是基因改造(GE)种子的领先生产商,占据了多种农作物种子70%&100%的市场份额,而在美国本土,更占有整个市场的90%。已经统治了生物工程种子业务超过十年。
孟山都首先发起&Green Data Revolution&运动,建立农业数据联盟(Open Ag Data Alliance)来统一数据标准,让农民不用懂&高科技&也能享受大数据的成果。典型的应用如农场设备制造商John Deere与DuPont Pioneer当前联合提供&决策服务(Decision Services)&,农民只需在驾驶室里拿出平板电脑,收集种子监视器传来的数据,然后将其上传给服务器,最终服务器返回化肥的配方到农场拖拉机上。
天气意外保险公司(The Climate Corporation),农业
The Climate Corporation为农民提供Total Weather Insurance (TWI)&&涵盖全年各季节的天气保险项目。利用公司特有的数据采集与分析平台,每天从250万个采集点获取天气数据,并结合大量的天气模拟、海量的植物根部构造和土质分析等信息对意外天气风险做出综合判断,然后向农民提供农作物保险。前不久从Google Ventures、Founders Fund等多家公司获得超过5000万美元的风险投资。 2013年被孟山都收购。
土壤抽样分析服务商(Solum, Inc),农业
Solum目标是实现高效、精准的土壤抽样分析,以帮助种植者在正确的时间、正确的地点进行精确施肥。农户既可以通过公司开发的No Wait Nitrate系统在田间进行分析即时获取数据;也可以把土壤样本寄给该公司的实验室进行分析。2012年获得Andreessen Horowitz 领投的1700万美元投资后,已累计融资近2000万美元。
(2).第二产业
2013年9月,工业和信息化部发布了《关于印发信息化和工业化深度融合专项行动计划(年)》的通知。明确提出推动物联网在工业领域的集成创新和应用:
&&&实施物联网发展专项,在重点行业组织开展试点示范,以传感器和传感器网络、RFID、工业大数据的应用为切入点,重点支持生产过程控制、生产环境检测、制造供应链跟踪、远程诊断管理等物联网应用,促进经济效益提升、安全生产和节能减排。
大数据的业务多是数据驱动型,具有数据量大、种类多、实时性高的特点。工业企业对数据的记录以往看来主要分为两种方法:传统的纸笔和Excel电子表格记录。这些操作起来看似简单的数据管理方式为企业生产及质量监控埋下了巨大的隐患,也让数据挖掘无从谈起。
随着信息化与工业化的融合发展,信息技术渗透到了工业企业产业链的各个环节。例如Sensor、RFID、Barcode、物联网等技术已经在企业中得到初步应用,工业大数据也开始逐渐得到积累。企业中生产线高速运转时机器所产生的数据量不亚于计算机数据,而且数据类型多是非结构化数据,对数据的实时性要求也更高。因此工业大数据所面临的问题和挑战很多,所以通用电气公司(General Electric)的副总裁兼全球技术总监William Ruh认为相对于工业大数据来说,工业互联网(Industrial Internet)才是当前急需的,因为大数据本身并没有让信息的提取更加智能,业务比数据本身更加重要。他举了一个核磁共振成像扫描的例子:
Here&s an example. An MRI scan is the best way to see inside the human body. While effective in helping to diagnose multiple sclerosis, brain tumors, torn ligaments and strokes, the data produced by an MRI machine is disconnected from the person that needs it the most.
At a very simplistic level, there are many individuals working as a team to make the scan happen. A nurse administers medications or contrast agents that may be an MRI technologist
and a radiologist identifies the imaging sequences to be used and interprets the images. This information is then given to the nurse, who then passes it to the primary doctor to review and take action accordingly. This is Big Data, but it is not making information more intelligent.
又如在工业中,压力、温度等数据的特点是需要语境才能理解的。燃气轮机排气装置上的温度读数与一台机车的内部温度是完全不同的。燃气轮机改善热敷需要使用非常复杂的算法运行模型。在笔记本电脑上,一个典型的查询要获得答案一般需要三个星期。在基于大数据的分布式系统上发布同样的查询执行一种计算只需要不到一秒钟。
第三方认证机构(T&UV NORD GROUP),工业
德国汉德技术监督服务有限公司的前身是德国锅炉检验协会(简称T&UV)早在1869年,德国锅炉检验协会就承担了德国国内所有锅炉运行安全的检验工作,保证了锅炉生产的安全。渐渐的,德国锅炉检验协会取得了德国政府的授权,开展对其他产品的检验工作,从采矿,电力系统开始,到压力容器,机动车辆,医疗设备,环境保护,宇航工业,医疗产品等等,现在的德国汉德技术监督服务有限公司已经成为了许许多多产品的安全代号。主要体系认证包括企业质量管理体系,生产环境体系,生产碳排放方案等。T&UV当前从建筑绿色标准体系方面提出了对于大数据能源管理的探索,以微软新总部,蒂森克虏伯电梯总部为例,在整个项目实施中引入大数据能源管理,在建筑的设计规划阶段、施工阶段、运营阶段等多个阶段通过数据化的能源管理系统,实现建筑的低碳、绿色、智能。
工业自动化软件商(Wonderware ),工业
Wonderware作为系统软件涉及的专业企业,对于大数据的计算和运用是从比较&IT&的角度出发的。Wonderware 的实时数据管理软件能够提供一个工厂所需要的从建立到报废的所有实时数据。目前已经退出移动版本,工程总监在手机上就能够随时随地监控设备的运行状况。目前全球超过三分之一的工厂应用Wonderware公司的软件解决方案。
相关阅读:
搜索"raincent"或扫描下面的二维码大数据平台核心技术
面向信息科学技术类研究生或高年级本科生,主要由业界一线研发人员讲授大数据平台涉及到的分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容,通过实践,力图覆盖大数据处理平台的主要核心技术,帮助学生了解分布式大数据平台设计中的关键挑战,提出实际的解决方案,为研究生未来研究方向提供参考。课程重点讲解设计原理,突出技术深度和实战性。
【参考资料】李妹芳,《ODPS权威指南》。本书是学习和掌握ODPS的权威指南,作者来自阿里ODPS团队。全书共13章,主要内容包括:ODPS入门、整体架构、数据通道、MapReduce编程、SQL查询分析、安全,以及基于真实数据的各种场景分析实战。本书基于很多范例解析,通过在各种应用场景下的示例来说明如何通过ODPS完成各种需求,以期引导读者从零开始轻松掌握和使用ODPS。同时,本书不局限于示例分析,也致力于提供更多关于大数据处理的编程思想和经验分享。书中所有示例代码都可以在作者提供的网站上免费下载。这本书对平台架构介绍不多,偏应用方面,但对了解阿里的大数据平台能够做什么可能有些帮助。
第一讲 大数据和ODPS主讲人:武永卫主讲人:程永QUIZ第二讲 分布式存储大纲初步认识大数据对分布式存储系统的需求理解大数据对分布式存储系统的需求具体说明大数据对分布式存储系统的需求大规模分布式存储的挑战小概率事件-Raid卡故障分布式存储系统举例分布式存储系统重要功能设计要点剖析链式写正常流程写流程的另一种常见方式:主从模式链式写异常流程写异常处理的另一种方法-Seal and New读正常流程读流程优化-BackupReadIO QoS数据正确性:checksum数据可靠性-Replication数据均衡-Rebalance垃圾回收-Garbage collectionErasure codingErasure coding(3,2)写入和读取过程元数据管理的高可用性和可扩展性元数据管理的高可用性Paxos概要Raft元数据管理的可扩展性不同存储介质的特性盘古混合存储QUIZ第三讲 资源管理与任务调度阿里云飞天分布式调度任务调度资源调度容错机制规模挑战安全域性能隔离分布式调度的发展方向QUIZ第四讲 分布式编程模型的设计与演化数据格式和抽象分布式编程模型MapReuduce编程模型关系型数据编程模型分布式图计算模型分布式编程未来展望QUIZ实践1:通过两阶段提交协议完成数据上传分布式事务分布式一致性算法两阶段提交与三阶段提交实践--介绍HW1:通过两阶段提交协议完成数据上传第五讲 离线分布式关系型计算关系型计算基本原理_1关系型计算基本原理_2分布式环境中的连接计算和聚合计算其他计算和物理优化QUIZ第六讲 全局数据管理与调度提纲课程背景介绍前序知识分布式节点距离计算法则数据分布策略分布式计算调度数据就近原则计算如何容错ODPS跨集群数据依赖QUIZ实践2:编写MR完成Group By+Join操作主讲人:谢德军HW2:编写MR完成Group By+Join操作第七讲 流式计算的系统设计与实现增量计算和流式计算与批量计算的区别业界典型系统技术概要分析核心技术消息机制有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制StreamSQLQUIZ第八讲 内存计算软硬件趋势、分布式计算简史与内存计算分布式计算内存计算统一的计算框架业界经典系统技术分析-spark&flinkQUIZ第九讲 大规模数据的分布式机器学习平台主讲人:褚葳QUIZ实践3:实现MapReduce编程运行时库分布式环境下的新问题工程实现范例课程设计相关问题HW3:实现MapReduce编程运行时库大数据的大价值:大数据五大成功案例深度解析
大数据的热潮并未有消褪迹象,相反,包括航空、金融、电商、政府、电信、电力甚至F1赛车等各个行业的企业都在纷纷掘金大数据。可以看出,在推动大数据企业应用方面,真正看到大数据潜在商业价值的企业比大数据技术厂商还要着急。例如IT经理网曾经报道过直接参与到大数据工具的开发和开源工作中。但是在国内,虽然管理学界和财经媒体对大数据推崇备至,认为大数据是信息技术改变商业世界的杀手 应用,但是关于大数据中国企业的成功案例的报道却出奇地少。
最近《中国企业家》的“大数据专题”特别报道采访了农夫山泉、阿迪达斯中国和数家航班信息移动服务商(前两家为SAP客户),为我们带来了详实的大数据案例报道,非常有参考价值,原文转载如下:
就在制作这期“大数据专题”时,编辑部发生热烈讨论:什么是大数据?编辑记者们旁征博引,试图将数据堆砌的商业案例剔除,真正的、实用性强的数据挖掘故事留下。
我们报道的是伪大数据公司?我们是否成为《驾驭大数据》一书的作者Bill Franks所称的“大数据骗局”中的一股力量?同样的质疑发生在阿里巴巴身上。有消息称,3月23日,阿里巴巴以7000万美元收购了一家移动开发者数 据统计平台。这引发了专家们热烈讨论,它收购的真是一家大数据公司吗?
这些质疑并非没有道理。
中国确实没有大数据的 土壤。“差不多先生”、“大概齐”的文化标签一直存在。很多时候,各级政府不太需要“大数据”,形成决策的关键性数据只有一个数字比率(GDP)而已;其 二,对于行业主管机构来说,它们拥有大量原始数据,但它们还在试探、摸索数据开放的尺度,比如说,是开放原始数据,还是开放经过各种加工的数据?是转让给 拥有更高级计算和储存能力的大型数据公司,还是将数据开源,与各种各样的企业共享?其三,数据挖掘的工具价值并没有完全被认同。在这个领域,硬件和软件的 发展并不十分成熟。
即便如此,没有人否认数据革命的到来,尤其在互联网行业。阿里巴巴的马云将大数据作为战略方向,百度的李彦宏用“框计算”来谋划未来。即便是CBA(中国男子篮球职业联赛)也学起了NBA(美国男篮职业联赛)五花八门的数据统计、分析与挖掘。
在过去两年间,大量的资本投资一些新型数据工具公司,根据美国道琼斯风险资源(Dow Jones VentureSource)的数据,在过去的两年时间里,11.7亿美元流向了119家数据库软件公司。去年,SAP市值已经超过西门子,成为德国市值 最高的上市公司,而这样的业绩部分得益于其数据库软件HANA的商业化,去年一年时间里HANA带给SAP3.92亿欧元的收入,增长了142%。
但是,大数据还没法分析、挖掘出自己的直接变现能力。在截稿日时,我们再重新读维克托·迈尔-舍恩伯格(Viktor Mayer-Sch鰊berger)的《大数据时代:生活、工作与思维的大变革》一书,作者相信,未来,数据会成为有价值的资产。假以时日,它会大摇大摆 地进入资产负债表里。
案例1:农夫山泉用大数据卖矿泉水
  发挥你您的想象力,选择您认为可是的答案
   这里是上海城乡结合部九亭镇新华都超市的一个角落,农夫山泉的矿泉水堆头静静地摆放在这里。来自农夫山泉的业务员每天例行公事地来到这个点,拍摄10张 照片:水怎么摆放、位置有什么变化、高度如何……这样的点每个业务员一天要跑15个,按照规定,下班之前150张照片就被传回了杭州总部。每个业务员,每 天会产生的数据量在10M,这似乎并不是个大数字。
  但农夫山泉全国有10000个业务员,这样每天的数据就是100G,每月为3TB。当这些图片如雪片般进入农夫山泉在杭州的机房时,这家公司的CIO胡健就会有这么一种感觉:守着一座金山,却不知道从哪里挖下第一锹。
胡健想知道的问题包括:怎样摆放水堆更能促进销售?什么年龄的消费者在水堆前停留更久,他们一次购买的量多大?气温的变化让购买行为发生了哪些改变?竞争对手的新包装对销售产生了怎样的影响?不少问题目前也可以回答,但它们更多是基于经验,而不是基于数据。
从2008年开始,业务员拍摄的照片就这么被收集起来,如果按照数据的属性来分类,“图片”属于典型的非关系型数据,还包括视频、音频等。要系统地对非 关系型数据进行分析是胡健设想的下一步计划,这是农夫山泉在“大数据时代”必须迈出的步骤。如果超市、金融公司与农夫山泉有某种渠道来分享信息,如果类似 图像、视频和音频资料可以系统分析,如果人的位置有更多的方式可以被监测到,那么摊开在胡健面前的就是一幅基于人消费行为的画卷,而描绘画卷的是一组组复 杂的“0、1、1、0”。
SAP全球执行副总裁、中国研究院院长孙小群接受《中国企业家》采访时表示,企业对于数据的挖掘使用分三个阶 段,“一开始是把数据变得透明,让大家看到数据,能够看到数据越来越多;第二步是可以提问题,可以形成互动,很多支持的工具来帮我们做出实时分析;而 3.0时代,信息流来指导物流和资金流,现在数据要告诉我们未来,告诉我们往什么地方走。”
SAP从2003年开始与农夫山泉在企业管理软件ERP方面进行合作。彼时,农夫山泉仅仅是一个软件采购和使用者,而SAP还是服务商的角色。
而等到2011年6月,SAP和农夫山泉开始共同开发基于“饮用水”这个产业形态中,运输环境的数据场景。
关于运输的数据场景到底有多重要呢?将自己定位成“大自然搬运工”的农夫山泉,在全国有十多个水源地。农夫山泉把水灌装、配送、上架,一瓶超市售价2元 的550ml饮用水,其中3毛钱花在了运输上。在农夫山泉内部,有着“搬上搬下,银子哗哗”的说法。如何根据不同的变量因素来控制自己的物流成本,成为问 题的核心。
基于上述场景,SAP团队和农夫山泉团队开始了场景开发,他们将很多数据纳入了进来:高速公路的收费、道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求(比如某城市召开一次大型运动会)。
在没有数据实时支撑时,农夫山泉在物流领域花了很多冤枉钱。比如某个小品相的产品(350ml饮用水),在某个城市的销量预测不到位时,公司以往通常的 做法是通过大区间的调运,来弥补终端货源的不足。“华北往华南运,运到半道的时候,发现华东实际有富余,从华东调运更便宜。但很快发现对华南的预测有偏 差,华北短缺更为严重,华东开始往华北运。此时如果太湖突发一次污染事件,很可能华东又出现短缺。”
这种没头苍蝇的状况让农夫山泉头疼 不已。在采购、仓储、配送这条线上,农夫山泉特别希望大数据获取解决三个顽症:首先是解决生产和销售的不平衡,准确获知该产多少,送多少;其次,让400 家办事处、30个配送中心能够纳入到体系中来,形成一个动态网状结构,而非简单的树状结构;最后,让退货、残次等问题与生产基地能够实时连接起来。
也就是说,销售的最前端成为一个个神经末梢,它的任何一个痛点,在大脑这里都能快速感知到。
“日常运营中,我们会产生销售、市场费用、物流、生产、财务等数据,这些数据都是通过工具定时抽取到SAP BW或Oracle DM,再通过Business Object展现。”胡健表示,这个“展现”的过程长达24小时,也就是说,在24小时后,物流、资金流和信息流才能汇聚到一起,彼此关联形成一份有价值 的统计报告。当农夫山泉的每月数据积累达到3TB时,这样的速度导致农夫山泉每个月财务结算都要推迟一天。更重要的是,胡健等农夫山泉的决策者们只能依靠 数据来验证以往的决策是否正确,或者对已出现的问题作出纠正,仍旧无法预测未来。
2011年,SAP推出了创新性的数据库平台SAP Hana,农夫山泉则成为全球第三个、亚洲第一个上线该系统的企业,并在当年9月宣布系统对接成功。
胡健选择SAP Hana的目的只有一个,快些,再快些。采用SAP Hana后,同等数据量的计算速度从过去的24小时缩短到了0.67秒,几乎可以做到实时计算结果,这让很多不可能的事情变为了可能。
这些基于饮用水行业实际情况反映到孙小群这里时,这位SAP全球研发的主要负责人非常兴奋。基于饮用水的场景,SAP并非没有案例,雀巢就是SAP在全 球范围长期的合作伙伴。但是,欧美发达市场的整个数据采集、梳理、报告已经相当成熟,上百年的运营经验让这些企业已经能从容面对任何突发状况,他们对新数 据解决方案的渴求甚至还不如中国本土公司强烈。
这对农夫山泉董事长钟目炎目炎而言,精准的管控物流成本将不再局限于已有的项目,也可以 针对未来的项目。这位董事长将手指放在一台平板电脑显示的中国地图上,随着手指的移动,建立一个物流配送中心的成本随之显示出来。数据在不断飞快地变化, 好像手指移动产生的数字涟漪。
以往,钟目炎目炎的执行团队也许要经过长期的考察、论证,再形成一份报告提交给董事长,给他几个备选方案,到底设在哪座城市,还要凭借经验来再做判断。但现在,起码从成本方面已经一览无遗。剩下的可能是当地政府与农夫山泉的友好程度,这些无法测量的因素。
有了强大的数据分析能力做支持后,农夫山泉近年以30%-40%的年增长率,在饮用水方面快速超越了原先的三甲:娃哈哈、乐百氏和可口可乐。根据国家统 计局公布的数据,饮用水领域的市场份额,农夫山泉、康师傅、娃哈哈、可口可乐的冰露,分别为34.8%、16.1%、14.3%、4.7%,农夫山泉几乎 是另外三家之和。对于胡健来说,下一步他希望那些业务员搜集来的图像、视频资料可以被利用起来。
获益的不仅仅是农夫山泉,在农夫山泉场 景中积累的经验,SAP迅速将其复制到神州租车身上。“我们客户的车辆使用率在达到一定百分比之后出现瓶颈,这意味着还有相当比率的车辆处于空置状态,资 源尚有优化空间。通过合作创新,我们用SAP Hana为他们特制了一个算法,优化租用流程,帮助他们打破瓶颈,将车辆使用率再次提高了15%。”
案例2:阿迪达斯的“黄金罗盘”
  发挥你您的想象力,选择您认为可是的答案
  看着同行大多仍身陷库存泥潭,叶向阳庆幸自己选对了合作伙伴。
他的厦门育泰贸易有限公司与阿迪达斯合作已有13年,旗下拥有100多家阿迪达斯门店。他说,“2008年之后,库存问题确实很严重,但我们合作解决问题,生意再次回到了正轨。”
在最初降价、打折等清库存的“应急措施”结束后,基于外部环境、消费者调研和门店销售数据的收集、分析,成为了将阿迪达斯和叶向阳们引向正轨的“黄金罗盘”。
  现在,叶向阳每天都会收集门店的销售数据,并将它们上传至阿迪达斯。收到数据后,阿迪达斯对数据做整合、分析,再用于指导经销商卖货。研究这些数据,让阿迪达斯和经销商们可以更准确了解当地消费者对商品颜色、款式、功能的偏好,同时知道什么价位的产品更容易被接受。
阿迪达斯产品线丰富,过去,面对展厅里各式各样的产品,经销商很容易按个人偏好下订单。现在,阿迪达斯会用数据说话,帮助经销商选择最适合的产品。首 先,从宏观上看,一、二线城市的消费者对品牌和时尚更为敏感,可以重点投放采用前沿科技的产品、运动经典系列的服装以及设计师合作产品系列。在低线城市, 消费者更关注产品的价值与功能,诸如纯棉制品这样高性价比的产品,在这些市场会更受欢迎。其次,阿迪达斯会参照经销商的终端数据,给予更具体的产品订购建 议。比如,阿迪达斯可能会告诉某低线市场的经销商,在其辖区,普通跑步鞋比添加了减震设备的跑鞋更好卖;至于颜色,比起红色,当地消费者更偏爱蓝色。
推动这种订货方式,阿迪达斯得到了经销商们的认可。叶向阳说:“我们一起商定卖哪些产品、什么产品又会热卖。这样,我们将来就不会再遇到库存问题。”
挖掘大数据,让阿迪达斯有了许多有趣的发现。同在中国南部,那里部分城市受香港风尚影响非常大;而另一些地方,消费者更愿意追随韩国潮流。同为一线城 市,北京和上海消费趋势不同,气候是主要的原因。还有,高线城市消费者的消费品位和习惯更为成熟,当地消费者需要不同的服装以应对不同场合的需要,上班、 吃饭、喝咖啡、去夜店,需要不同风格的多套衣服,但在低线城市,一位女性往往只要有应对上班、休闲、宴请的三种不同风格的服饰就可以。两相对比,高线城 市,显然为阿迪达斯提供了更多细分市场的选择。
实际上,对大数据的运用,也顺应了阿迪达斯大中华区战略转型的需要。
库存危机后,阿迪达斯从“批发型”公司转为“零售驱动型”公司,它从过去只关注把产品卖给经销商,变成了将产品卖到终端消费者手中的有力推动者。而数据收集分析,恰恰能让其更好地帮助经销商提高售罄率。
“我们与经销商伙伴展开了更加紧密的合作,以统计到更为确切可靠的终端消费数据,有效帮助我们重新定义了产品供给组合,从而使我们在适当的时机,将符合 消费者口味的产品投放到相应的区域市场。一方面降低了他们的库存,另一方面增加了单店销售率。卖得更多,售罄率更高,也意味着更高的利润。”阿迪达斯大中 华区董事总经理高嘉礼对大数据的应用成果颇为满意。
案例3:数据权之争
发挥你您的想象力,选择您认为可是的答案
  拥有了数据就等于夺取了行业制高点,飞友网络科技公司CEO郑洪峰深知个中道理。
最近几年,随着移动互联网的兴起,一类关于航班动态的应用程序开始出现。通过一套算法,数据工程师们将机场航班实时动态转换成直观的信息,再传递给用户,让后者能够及时了解到航班的起飞、到达、延误、取消、返航、备降等状态,从而帮助用户更高效地安排行程计划。
目前这个市场上主要有三款应用产品,分别是航班管家、飞常准和航旅纵横,飞常准正是飞友科技推出的一款应用。三款应用中,航班管家和飞常准都是民营企 业,上线时间较早,用户数较多;航旅纵横虽然上线最晚,却是由央企中国民航信息集团(中航信)开发,大有后来居上的趋势。
随着这个细分市场呈现三足鼎立的局面,一个问题浮出水面。郑洪峰向《中国企业家》直言,数据是这个行业最重要的资源。但是目前中航信垄断了大部分行业信息,使得飞常准必须通过购买和交换才能获得自己所需要的数据。
  “我们的数据成本是非常高的。”郑洪峰告诉本刊,“气象、航班信息、空域流量等信息有些是公开发布的,有些则需要公司向空管局、机场和航空公司购买或交换。”
对于郑来说,获取数据的过程就是一部血汗创业史。据其回忆,早年的各大机场、航空公司之间的数据是割裂的,为了获得准确的航班起降信息,郑洪峰和他的团 队就去为这些政府机构、大公司提供技术支持,以此来交换所需要的数据。“我们必须放下身段,他们需要什么我们就做什么。”郑说道。因为飞常准是家小公司, 决策链条短,效率高,通过多年的积累,郑洪峰打通了部分数据通道。
郑洪峰在民航系统工作近12年,其人脉和常识的积累成为飞常准的重要 优势。1999年,他创建了民航资源网。现在,这家网站是中国最大的民航门户网站。2005年,他又创办了飞友,主要为飞行旅客提供机票搜索引擎等服务。 从2008年开始,郑洪峰团队通过飞常准为用户提供航班动态服务。早期,飞常准的用户只是民航内部工作人员,很多机票代理商主动帮其推广,机场方面也常常 用飞常准的应用来安抚因飞机延误而愤怒不已的乘客,而业内资深人士也常提供很多有价值的反馈信息。郑洪峰依靠民航内部的资源维持着自己的数据来源。但郑知 道,这并不能长久。
郑洪峰的故事并不是孤例。中国一家大型电子商务公司的数据挖掘专家接受本刊专访时提到,现在,越来越多的电子商务公 司需要预测非一线城市的物流状况。在这一过程中需要考虑当地交通拥堵程度和天气情况,如果当地政府可以提供这方面的相关数据,可以大大提高运作的效率。以 交通数据为例,这位数据挖掘专家使用的是百度地图和高德地图,后来,他发现不能再用了:一方面,与这样的公司合作存在商业机密问题;另一方面,由于交通数 据可能来自于这些公司的统计,失真度也是这位数据挖掘专家担心的。“我们非常希望政府能开放一些原始数据。”他继续说道,“我们也希望和领先者能平等地分 享数据权,而不是数据成本增加了二三倍。”
郑洪峰和这位数据专家都担心数据垄断,希望政府公平公开地开放数据,这样的做法并非没有借 鉴。美国有一个叫做flyontime.us的网站,用户可以从这个网站上获得航班信息和天气情况,其功能与国内的航班动态应用类似。但是值得一提的是, 这个网站的数据来源是一个公开的美国政府网站data.gov。目前在上面大约有超过40万各种原始数据文件,涵盖了农业、气象、金融、就业、交通、能源 等近五十个分类。此外,data.gov还有一个地理信息的子站点,专门提供地理信息相关的数据。美国官方表示,这个网站的目的是“方便公众更便捷地获得 联邦政府数据,并通过鼓励创新来突破政府的围墙而创造性地使用这些数据。”
2006年经济学家唐·泰普斯科特(Don Tapscott)在《维基经济学》中指出,人类已经进入了共享时代:“失败者创建的是网页,而胜利者创建的是生机勃勃的社区;失败者创建的是有墙的花 园,而胜利者创建的则是一个公共的场所;失败者精心守护他们的数据和软件界面,而胜利者则将资源与每个人共享。”这一理念后来被认为是网络2.0时代的核 心理念。以用户为中心,注重用户交互,让用户参与共同建设的网络2.0同样适用于政府,最近几年各国政府的一系列举措标志着政府2.0时代的到来。
那么在大数据时代,中国政府做好准备了吗?
参考阅读:
深藏的事实
飞常准的竞争对手也遇到了相同的困境。为了拿到第一手数据,航班管家非常卖力。它与各大机场合作,间接获得自己所需要的航班起降信息。2012年6月, 航班管家与上海虹桥机场达成协议,航班管家可以直接从虹桥机场获得信息,包括航班的延误、取消以及登机口变更等一手信息,且提供的信息均与虹桥机场同步。 可以预见,机场是其重要的数据来源。
面对竞争对手的步步紧逼,郑洪峰认为,正常的商业竞争并不是飞常准所焦虑的事。“开放与竞争对我们来说是好事。”
对于飞常准来说,央企中航信旗下的航旅纵横才是最大的威胁。“在一定程度上,它有垄断数据的嫌疑。”一位坚持匿名的专家说道。而面对记者的采访要求,航 旅纵横以不便透露为由拒绝。目前,中航信拥有中国所有终端旅客详细的数据库,包括姓名、手机、消费习惯等,这是中航信最核心的资源。由于与航旅纵横母子公 司的关系,非市场化的利益输送饱受诟病。
在有关民航信息的关键数据中,空域流量是影响中国航班正点率的主要原因,而这一数据掌握在空管局手里。“空管局也愿意将数据分享给航空公司、机场,甚至是一些小公司,它们这么多年也在努力,可中国有自己特殊的情况。”上述专家说道。
在中国,不到30%的空域对民航开放。和其它国家相比,中国是空域管制最为严格的国家之一。“民航系统也很头疼,七成多的空域属于国家机密,所以机场、空域关闭根本无法预知,何来公开的数据?”上述专家说道。
在航班信息中,准点率是非常重要的一条数据。郑洪峰以此对比中美两国差异。“在国外,像准点率这些关键数据都是由政府全部公开的,因为准点率会决定哪家 航空公司可以获得哪些航线,是航线资源分配一个非常重要的参数。但是,在中国,这个数据却是各家公司自己搜集的。”换句话说,相关政府部门并没有掌握到第 一手的数据来源,遑论数据开放了。
在石油、电信、铁路、民航等战略行业中,民航业的数据开放远远走在了其它行业的前头。上述电子商务公司的数据专家告诉本刊,设计物流工具时,他们更愿意与民航系统合作,不仅仅是快,还因为如果找相对封闭的铁路系统要一些关键性数据,“更难,更不靠谱。”数据专家说道。
“有时,政府也有担心,你要数据做什么?有时他们第一反应是,‘间谍’;第二反应是,你用来赚钱的,我会不会存在什么风险。”上述民航专家说。这位民航 专家的一部分工作是为相关政府写内部报告,有时需要跟民航系统要一些关键性数据,即便如此,也免不了遭遇相关政府部门的怀疑。
中国传媒大学教授沈浩认为,现在的政府网站许多都是空架子,甚至大部分网站都很少更新,内容上也只是一些公告,而之前的决策过程并没有反映出来;与此同时,由于中国政府缺少推动力,尚无法建立像data.gov的数据平台。
另外,根据BNET商学院对中国政府部门的调查分析显示,政府部门以数据分析作为决策支撑并没有形成气候,将数据分析作为核心竞争力的只占5.6%,比起美国和英国等政府开源力度差距巨大。
此项调查的负责人,BNET商业英才网副总编周安利认为:政府部门依然缺乏对大数据的真正、全面的认识。在挖掘信息系统价值方面,数据分析也受制于管理 体制和职能制约,及长期传统管理积累的习惯,业务驱动力不足,绩效考核不配套。所以中国政府部门对大数据可能产生的价值,以及如何利用数据分析实现政府的 科学决策依然有相当长的距离要走。
数字生产力
如 今,飞常准已经拥有300万月活跃用户,覆盖1万个国内航班,5万个国际航班。郑洪峰直言,飞常准的优势和主要收入来源就是利用大数据技术对数据进行收 集、分析和加工。比如利用获得的收据,飞常准可以帮助保险公司制定航班延误保险,而这些都是政府和保险公司以前无法完成的。
以前,航班 延误险存在一个问题,就是保险公司让用户去举证,用户必须有各种各样的纸质证明才能从保险公司拿到赔偿,而赔偿金额往往只有两三百块钱,因此用户都不愿意 买这个险。“而现在,航班一落地,通过我们的数据和服务,保险公司就知道是否超过保险阀值,没超过的,用户可以直接从保险公司拿到钱,过程非常简单。”郑 说道。与保险公司的合作,郑洪峰得到的回报是收取一小部分服务佣金。
数据开放不仅可以让小公司受益,而且可以让政府更加透明、负责任。 美国政府前助理信息官、纽约大学法学院教授贝丝·诺维克(Beth Noveck)在她的《维基政府——运用互联网技术提高政府管理能力》一书中阐述了如何在数字化背景下,运用网络和大数据建立民主和高效的政府。“数据开 放可以让体制内外的人一起参与进来,解决政府无法完成以及棘手的问题。”诺维克告诉《中国企业家》。
诺维克以感染率数据为例说明开放数 据的作用。美国的医疗部门搜集了全美几乎所有医院的感染率,但是政府并没有足够的能力把这些数据转化为有价值的信息。可是,当这些数据被放在 data.gov网站上以后,微软和谷歌却能够运用自己强大的技术能力制作了一幅数据地图。不管是研究机构或者是普通患者都能运用搜索引擎查找任何一家医 院的感染率来决定是否住院。
而在中国互联网领域,此前受到虚假广告质疑的百度也开始与相关政府部门合作,利用后者的数据进行网络打假。 百度相关负责人告诉《中国企业家》,以前百度需要从2000亿网页中筛查出有问题的假药网站,屏蔽虚假医疗信息非常困难,单纯依靠技术和管理手段的升级, 难以达到打击假药的最佳效果。同时,百度作为一家企业,并不具备相关监管资质,这也是百度无法进行独立打击假药的问题所在。百度曾独立打击假药,但效果十 分有限。
从2010年开始,百度联合卫生部、国家药监局等多个部委部门发起“阳光行动”,打击各类互联网不良及虚假信息,之后,百度与 国家药监局正式达成战略合作,国家药监局的三大药品数据库,总计20余万个权威药品信息向百度开放,而且这些数据库将随着药监局的数据变化实时更新。用户 可以通过通俗的商品名、专业的药品名、批准文号等多个途径,在百度搜索到药品的权威信息。
“作为5亿网民的互联网入口,百度一直以来都希望能利用搜索入口和平台优势,与各家具有数据资源优势的政府部门、权威机构联手,让权威信息全面入驻网络。”这位负责人说道,“重要的是,数据治国,相关政府部门也获得了很好的赞誉。”
中国传媒大学教授沈浩认为,虽然中国政府在2007年就发布了《政府信息公开条例》,但目前政府公布的数据大部分还是报告和报表,没有标准的格式,不能以数据的形式查到,因此也无法进行深入的分析、加工和挖掘。
“如果政府需要社会共享和分析这些数据,必须提供最原始的数据,这样的数据学术和商业上才能去应用它。”沈浩说,“你看data.gov的网站,在上面的联邦政府的数据库,都是以电脑可读取的格式发布的。”
郑洪峰也意识到这个难题。他有时候会给相关政府、大公司提供一些数据,他力求寻找一种标准格式。而在这样的方向上,中国的一些公司也在与政府一起努力。
高德软件有限公司三维应用事业部总经理赵珂告诉记者,以前的项目往往是政府立项再雇用公司去做,完成后政府拥有版权,这样导致数据市场不是市场经济而是 投资拉动型的经济。而目前高德与地方测绘局采取的合作形式是授权模式,高德帮助政府采集数据。拥有了标准化的数据,相关政府就拥有了一个标准的基础数据 库。“这是国家测绘局比较有远见的一个举措,相信我们未来和政府这类合作会越来越多。”赵珂说。
郑洪峰也相信,未来会更务实更市场化,歧视性的东西会越来越少。中国的数据会越来越开放,也会更加利用市场的机制去鼓励更多的商业用户用好航班的数据。
与此同时,郑洪峰也在以不同形式回馈于给他提供数据的政府相关部门和大公司,最近,他的团队正在撰写一份报告,名为《航班正点提高率计划》。
文章来源:中国企业家
第一时间获取面向IT决策者的独家深度资讯,敬请关注IT经理网微信号:ctociocom
&&&除非注明,本站文章均为原创或编译,转载请务必注明出处并保留: 文章来自
相关文章:
隐私已经死去,软件正在吃掉世界,数据即将爆炸
《2016互联网有组织犯罪威胁评估报告》预警了八大网络犯罪趋势
报告详细分析了FitBit智能手环的硬件、网络、APP、云服务四个攻击面的安全性和隐私保护问题,风风火火搞智能硬件的务必要抽空看下。
医疗大数据应用已经来到引爆点,可为美国节省数千亿美元医疗开支。
棱镜门事件以来,NSA的全球监控行为遭到各国政府和人民的谴责,但美国情报部门所展现的大数据和信息安全技术实力也成为各国政府甚至一流IT企业为之“艳羡”的对象。
《BYOD安全策略与工具指南》为企业的信息安全主管和CIO们提供了一个详尽而系统的移动安全策略框架。
针对不同类型的设备和使用场景,教育机构如何能够确保学生安全进入Wi-Fi网络并获得最佳质量的连接呢?
瑞萨电子宣布推出高度自动驾驶(HAD)解决方案套件。这款套件可针对汽车功能安全提供高运算性能,以缩短电子控制单元(ECU)的开发时间。
经过对中国防雷业务 审核为期9个月的学习和研究,世界十大开源ERP开发商之一,法国开源软件企业Nexedi 开发了首个开源防雷业务电子政务管理平台。
Cray的这套系统将成为瑞典和斯堪地纳维亚地区首台千万亿次规模的超级计算机。瑞典研究人员和产业合作伙伴因此可以在气候模拟、流体动力学、神经科学、等离子物理、材料科学和分子模拟等领域进行复杂的模拟。
甲骨文公司将于11月9日在上海举办2016甲骨文云大会,本次大会的主题是创新驱动数字经济。届时各行业领袖、专家、客户代表、合作伙伴将共聚一堂,深入探讨
会议地点上海浦东嘉里大酒店上海市浦东新区花木路1388号
2016中国软件技术大会将以“互联网+时代企业级应用新生态”为主题,大会将邀请五十多位著名互联网公司的技术大咖、行业企业的技术专家、技术畅销书的作者、独立咨询师等就多个新兴前沿领域,从独立于厂商的角度,深入解析最新技术热点,探讨当前的技术变革对企业级软件的开发技术、架构、运维等的影响和驱动力。
会议地点北京·国家会议中心北京市朝阳区天辰东路7号
&Copyright (C) 2011,ctocio.cc - IT经理网

我要回帖

更多关于 中国有哪些核心技术 的文章

 

随机推荐