 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
2016年大数据到底还算不算个 “东西”
下载积分：800
内容提示：2016年大数据到底还算不算个 “东西”
文档格式：DOCX|
浏览次数：1|
上传日期： 02:51:45|
文档星级：
该用户还上传了这些文档
2016年大数据到底还算不算个 “东西”
官方公共微信在喜新厌旧的技术初创企业界，已有 3年 历史 “大数据” 听起来似乎已经过气了。虽然 Hadoop 在 2006年 已经出来，但 “大数据” 这个概念大概是在 2011 到 2014年 左右才真正火起来的。也就是在这段时间里，至少是在媒体或者专家眼里，“大数据” 成为了新的 “金子” 或者 “石油”。然而，至少在我跟业界人士交谈中，大家越来越感觉到这项技术已经在某种程度上陷入了停滞。2015年 可能是数据领域的那些酷小子转移兴趣，开始沉迷于 AI 以及机器智能、深度学习等许多相关概念的年份。
抛开不可避免的炒作周期曲线态势不管，我们的 “大数据版图” 已经进入第 4 个年头了，趁这个时候退一步来反思一下去年发生了什么，思考一下这个行业的未来会怎样是很有意义的。
2016 大数据版图
那么 2016年 大数据到底还算不算个 “东西” 呢?我们不妨探讨一下。
企业技术=艰苦工作
大数据有趣的一点在于，它不再像当初经历过那样有可能成为炒作的题材了。
经过炒作周期后仍能引起广泛兴趣的产品和服务往往那些大家能够接触、可以感知，或者与大众相关联的：比如移动应用、社交网络、可穿戴、虚拟现实等。
但大数据基本上就是管道设施的一种。当然，大数据为许多消费者或商业用户体验提供了动力，但它的核心是企业技术：数据库、分析等，这些东西都是在后端运行的，没几个人能看得见。就像在那个世界工作的任何人都知道那样，用一个晚上的时间就想适应企业端的新技术是不可能的。
大数据现象在早期主要是受到了与一批骨干互联网公司(尤其是 Google、Facebook、Twitter 等)的共生关系的推动，这些公司既是核心大数据技术的重度用户，同时也是这些技术的创造者。这些公司突然间面对着规模前所未有的庞大数据时，由于本身缺乏传统的(昂贵的)基础设施，也没有办法招募到一些最好的工程师，所以只好自己动手来开发所需的技术。后来随着开源运动的迅速发展，一大批此类新技术开始共享到更广的范围。然后，一些互联网大公司的工程师离职去创办自己的大数据初创企业。其他的一些 “数字原生” 公司，包括崭露头角的独角兽公司，也开始面临着互联网大公司的类似需求，由于它们自身也没有传统的基础设施，所以自然就成为了那些大数据技术的早期采用者。而早期的成功又导致了更多的创业活动发生，并获得了更多的 VC 资助，从而带动了大数据的起势。
快速发展了几年之后，现在我们面临的是更加广阔、但也更加棘手的机遇：让中等规模到跨国公司级别的更大一批企业采用大数据技术。这些公司跟 “数字原生” 公司不一样的是，他们没有从零开始的有利条件。而且他们失去的会更多：这些公司绝大部分的现有技术基础设施都是成功的。那些基础设施当然未必是功能完备的，组织内部许多人也意识到对自己的遗留基础设施进行现代化应该是早点好过晚点，但他们不会一夜间就把自己的关键业务取代掉。任何革命都需要过程、预算、项目管理、试点、局部部署以及完备的安全审计等。大企业对由年轻的初创企业来处理自己基础设施的关键部分的谨慎是可以理解的。还有，令创业者感到绝望的是，许多(还是大多数?)企业仍顽固地拒绝把数据迁移到云端(至少不愿迁移到公有云)。
还需要理解的另一个关键是：大数据的成功不在于实现技术的某一方面(像 Hadoop 什么的)，而是需要把一连串的技术、人和流程糅合到一起。你得捕捉数据、存储数据、清洗数据、查询数据、分析数据并对数据进行可视化。这些工作一部分可以由产品来完成，而有的则需要人来做。一切都需要无缝集成起来。最后，要想让所有这一切发挥作用，整个公司从上到下都需要树立以数据驱动的文化，这样大数据才不仅仅是个 “东西”，而且就是那个(关键的)“东西”。
换句话说：有一堆艰苦的工作要做。
所以，这就是在经过几年引人瞩目的初创企业如雨后春笋冒头，VC 投资频等头条后，我们开始步入大数据的部署期和早期成熟期的原因。
更有前瞻性的大公司(姑且称之为传统技术采用周期的 “早期采用者”)在 2011 到 2013年 间开始实验大数据技术，推出了若干的 Hadoop 试点计划(往往是因为赶时髦)或者尝试一些点方案。他们招募了各种各样此前并不存在的岗位(如 “数据科学家” 或 “首席数据官”)。他们进行了各种努力，包括吧全部数据都堆到一个数据容器(“data lake”)，然后希望紧跟着就会发生奇迹(往往不会)。他们逐步建设自己的内部能力，试验了各种供应商，从试点计划到生产中的局部部署，然后到现在争论要不要全企业铺开(全范围铺开实施的情况还很罕见)。许多情况下，他们正处在这样一个重要的拐点上，即经过大数据基础设施的数年建设后，能够展示的成果还不多，至少在公司内部的商业用户看来是这样的。但是大量吃力不讨好的工作已经做完了，现在开始进入到有影响力的应用部署阶段了。只是从目前来看，这种建构在核心架构之上的应用数量还不成比例。
接下来的一波大公司(称之为传统技术采用周期的 “早期多数使用者”)大多数时候对大数据技术是持观望态度的，对于整个大数据方面的东西，他们还在心存一定程度困惑中观望。直到最近，他们还在指望某个大型供应商(比如 IBM)会提供一个一站式的解决方案，不过现在看来这种情况近期内并不会出现。他们看待这个大数据版图的态度是心怀恐惧，在想自己是不是真的需要跟这一堆看起来并没有什么不同的初创企业合作，然后修补出各种解决方案。
生态体系正在成熟
与此同时，在初创企业 / 供应商这一块，整个第一波的大数据公司(2009 至 2013年 间成立的那批)现在已经融了数轮的资金，企业规模已经得到了扩大，并且从早期部署的成功或失败中学到了东西，现在他们已经能够提供更成熟的、经受过考验的产品了。少数一些已经成为了上市公司(包括 2015年 上市的 HortonWorks 和 New Relic)，而有的(比如 Cloudera、MongoDB 等)融资已经达上亿美元了。
这个领域的 VC 融资活动仍然很有生气，2016年 的前几周我们见证好几轮相当可观的后期阶段大数据融资事件：DataDog(9400 万美元)，BloomReach(5600 万美元)，Qubole(3000 万美元)，PlaceIQ(2500 万美元)等。2015年 大数据初创企业拿到的融资额达到了 66.4 亿美元，占整个技术 VC 总融资额额 11%。
并购活动则开展得中规中矩(自从上一版大数据版图发布以来完成了 34 项并购，具体可参见附注)
随着该领域的创业活动持续进行以及资金的不断流入，加上适度的少量退出，以及越来越活跃的技术巨头(尤其是 Amazon、Google、IBM)，使得这个领域的公司日益增多，最后汇成了这幅 2016 版的大数据版图。
显然这张图已经很挤了，而且还有很多都没办法列进去(关于我们的方法论可以参见附注)
在基本趋势方面，行动开始慢慢从左转到右(即创新、推出新产品和新公司)，从基础设施层(开发者 / 工程师的世界)转移到分析层(数据科学家和分析师的世界)乃至应用层(商业用户和消费者的世界)，“大数据原生应用” 已经在迅速冒头—这多少符合了我们原先的一些预期。
大数据基础设施：仍有大量创新
Google 关于 MapReduce 和 BigTable 的论文(Cutting 和 MikeCafarella 因为这个而做出了 Hadoop)的诞生问世已有 10年 了，在这段时间里，大数据的基础设施层已经逐渐成熟，一些关键问题也得到了解决。
但是，基础设施领域的创新仍然富有活力，这很大程度上是得益于可观的开源活动规模。
2015 年 无疑是 Apache Spark 之年。自我们发布上一版大数据版图以来，这个利用了内存处理的开源框架就开始引发众多讨论。自那以后，Spark 受到了从 IBM 到 Cloudera 的各式玩家的拥护，让它获得了可观的信任度。Spark 的出现是很有意义的，因为它解决了一些导致 Hadoop 采用放缓的关键问题：Spark 速度变快了很多(基准测试表明 Spark 比 Hadoop 的 MapReduce 快 10 到 100 倍)，更容易编程，并且跟机器学习能够很好地搭配。
除了 Spark 以外，还出现了其他的一些令人兴奋的框架，比如 Flink、Ignite、Samza、Kudu 等，这些框架的发展势头也很好。一些思想领袖认为，Mesos(数据中心资源管理系统，把数据中心当作一台大计算资源池进行编程)的出现也刺激了对 Hadoop 的需求。
即便在数据库的世界里，新兴的玩家似乎也越来越多。多到市场已经难以承受的地步，这里发生了很多令人兴奋的事情，从图形数据库(如 Neo4j )的成熟，到专门数据库的推出(如统计时序数据库 InfluxDB)，乃至于 CockroachDB 的出现(受 Google Spanner 灵感启发诞生的融合了 SQL 与 NoSQL 长处的新型数据库)。数据仓库也在演变(如云数据仓库 Snowflake)。
大数据分析：现在跟 AI 结合了
大数据分析过去几个月出现的一股趋势是，越来越关注利用人工智能(形式和风格各异)来帮助分析大规模的数据，从而获得预测性的洞察。
其实最近出现复兴的 AI 很大程度上算是大数据的产物。深度学习(最近受到关注最多的 AI 领域)背后的算法基本上是几十年前就诞生了的，但直到最近能够以足够便宜、足够快速地应用到大规模数据之后才发挥出了它的最大潜能。AI 与大数据之间的关系如此紧密，以至于业界专家现在认为 AI 已经令人懊恼地 “与大数据陷入了热恋当中”。
不过反过来，AI 现在也在帮助大数据实现后者的承诺。分析对 AI/ 机器学习越来越多的关注也符合大数据下一步演进的趋势：现在数据我都有了，但究竟从中能得到什么样的洞察呢?当然，这件事情可以让数据科学家来解决，从一开始他们的角色就是实现机器学习，否则的话就得想出模型来发现数据的意义。但是机器智能现在正在逐渐发挥辅助数据科学家的作用—只需要倒腾数据，新兴的产品就能从中提炼出数学公式(如 Context Relevant)或者自动建立和推荐最有可能返回最佳结果的数据科学模型(如 DataRobot)。一批新的 AI 公司提供的产品能够自动识别像图像这样的复杂实体(如 Clarifai、Dextro)，或者提供强大的预测性分析(如 HyperScience)。
同时，随着基于无监督学习的产品的传播和改善，看看它们与数据科学家之间的关系如何演变将非常有趣—将来这两者是敌还是友呢?AI 当然不会很快取代数据科学家的位置，但预计会看到数据科学家通常执行的更简单一点的工作越来越多的自动化，从而可以极大提高生产力。
但不管怎样，AI/ 机器学习绝不是大数据分析唯一值得关注的趋势。大数据 BI 平台的普遍成熟及其日益增强的实时能力也是一个令人兴奋的趋势(如 SiSense、Arcadia Data 等)。
大数据应用：真正的加速
随着一些核心基础设施的挑战得到解决，大数据应用层正在快速构建。
在企业内部，已经出现了各种工具来帮助跨多个核心职能的企业用户。比方说，销售和营销的大数据应用通过处理大规模的内外部数据来帮助找出哪位客户可能会购买、续约或者流失，且速度越来越实时化。客服应用帮助个性化服务。人力应用帮助找出如何吸引和挽留最好的员工等。
专门的大数据应用几乎在任何一个垂直行业都有出现，从医疗保健(尤其是基因组学和药物研究)到金融、时尚乃至于执法(如 Mark43)。
有两个趋势值得强调一下。
首先，这些应用很多都是 “大数据原生” 的，本身都是依托在最新的大数据技术基础上开发的，代表了一种客户无须部署底层大数据技术即可利用大数据的有趣方式—因为那些底层技术已经是打包的，至少对于特定功能来说是这样的。比方说，ActionIQ 就是在 Spark 基础上开发的(或者说是 Spark 的一个派生)，所以它的客户能够在营销部门利用 Spark 的威力而不需要自己部署 Spark，这种情况下是没有 “装配线” 的。
其次，AI 在应用层也有很强大的存在。比方说，在猫捉老鼠的安全领域中，AI 被广泛用来对付黑客，实时识别和对抗网络攻击。去年已经出现了一个 AI 驱动的数字助手行业，支持从任务自动化到会议安排(如 x.ai)以及购物等几乎一切事情。这些解决方案对 AI 的依赖程度不一，从几乎 100%自动化到 “有人参与” 等情况各不相同，但是可以明确的是，人的能力在 AI 帮助下得到了增强。
从很多方面来看，我们仍然处在大数据现象的早期发展阶段。尽管已经花费了数年时间，但减少基础设施来存储和处理大规模数据还只是第一阶段。AI/ 机器学习已经成为大数据应用层的一股迅猛趋势。大数据与 AI 的结合将会推动很多行业的惊人创新。从这个角度来说，大数据的机会也许要比大家想象的还要大。
然而，随着大数据继续走向成熟，这个术语本身可能会消失，或者变得太过时以至于没有人会再使用这个词。这就是成功赋能技术令人讽刺的命运归宿—由于技术的广泛传播，然后到达无所不在的地步，最后被人熟视无睹。
1)由于不可能把大数据的所有公司都列到图表上，所以我们只能按照一定原则筛选部分公司出来，筛选原则一是进行过 1 轮或多轮 VC 融资的初创企业，二是把一些我们特别感兴趣的较早期初创企业列进去。
2)值得注意的收购包括 Revolution Analytics(微软 2015年1月 收购)，Mortar(DataDog2015年2月 收购)，Acunu 和 FoundationDB(2015年3月 被苹果收购)，AlchemyAPI(2015年3月 被 IBM 收购)，Amiato(2015年4月 被 Amazon 收购)，Next Big Sound(2015年5月 被 Pandora 收购)，1010Data(Advance/Newhouse 2015年8月 收购)，Boundary(BMC 2015年8月 收购)，Bime Analytics(Zendesk 2015年10月 收购)，CleverSafe(IBM 2015年10月 收购)，ParStream(2015年11月 被思科收购)，Lex Machine(2015年11月 被 LexisNexis 收购)，DataHero(2016年1月 被 Cloudability 收购)。
via:灯塔大数据
转载请注明来自36大数据（)： &
除非特别注明，本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性，宽容，换位思考的原则。大数据行业2016的变与不变
扫描到手机，看更多国搜资讯
您可以用手机或平板电脑的二维码应用拍下左侧二维码，您可以在手机国搜客户端继续浏览本文，并可以分享给你的好友。
核心提示：据《中国科学报》报道，“这两年大数据的风头明显盖过了云计算，这不是好事。”近日，华为IT产品线大数据解决方案规划总监徐兴海在2015中国大数据技术大会上如是说。他认为，云计算已过了炒作期，在公有云的带动下实现了规模化落地，“已经开始赚钱了”；而在去年，大数据的发展还在泡沫的破灭中，今年大数据已开始有走入应用的“苗头”，“而不仅仅是炒作”。
除了从“炒作”到走向“泡沫的幻灭”，备受瞩目的大数据在2015年还经历了哪些变化？又将如何迈入2016年？几个月后，由中国计算机协会（CCF）大数据专家委员会编撰的第三版关于大数据的白皮书将发布，CCF大数据专家委员会副秘书长潘柱延却“提前泄密”，他分析了大数据行业的几个关键词：民生、多样性和融合性、政策拉动、大数据生态。
十大趋势不容忽视
据潘柱延介绍，去年的中国计算机学会（CCF）大数据专家委列出了2016年大数据产业技术发展的十大趋势，而这些趋势可以解释上面提到的关键词。
“可视化技术推动大数据平民化被专家选为了第一大趋势，这是非常有意思的结论，工作组也感到很意外。”潘柱延解释，可视化作为技术形态能排到第一，其实背后隐藏着大数据的平民化，普通老百姓和常规的决策者能够更好地理解大数据的效果和价值。
大数据将引导多学科融合。不仅是计算机领域的科学家，数学等其他领域的科学家也将参与到大数据的前沿研究中。
大数据的安全和隐私也受到了持续关注。对大数据的威胁和对大数据所产生的副作用，以及大数据发展中的障碍会逐渐成为大数据领域的关注点。潘柱延指出，虽然现在并没有针对大数据攻击的大规模报道，但是安全和隐私方面的隐忧已令大家担忧，这也是阻碍大数据发展的问题之一。
还有许多新热点将持续融入大数据的模式中，形成更加平衡的路径。而且，大数据将在民生领域重点应用，提升社会治理的效果。“和民生相关的，如智慧城市、应急、反恐等都会是发展重点，专家组认为这样的领域可能实现爆发性的发展。”潘柱延说。
去年9月5日，国务院印发了《促进大数据
发展行动纲要》，并指出：将在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系。
CCF大数据专家组认为，该纲要将对大数据的发展起到推动性的作用，成为大数据产业快速发展的催化剂和政策标杆，也将推动地方政府出台类似的配套政策。潘柱延指出：“除了学术、技术、商业的推动外，政策的扶持会产生很大作用，大数据相关的基础设施建设和大数据创业公司在双创政策的推动下，两个驱动力会快速带动大数据的发展。”
在学术技术研究上，深度分析会继续成为推动大数据智能应用的代表之一。美剧《疑犯追踪》中曾展示了大数据的最终极应用——人工智能体几乎主宰人类生死的场景。在该大数据会议上，IBM的专家也展示了2011年曾挑战人类智力竞赛并获得冠军的超级电脑系统Watson。潘柱延认为，在人工智能领域，涉及与人的相关能力延伸，比如，决策、预测、精准推介等都将继续是大数据技术和学术研究的重要应用关注点。
数据权属与数据主权将得到进一步关注，
所有权属和主权的利益冲突和争夺都是来自数据资源化、数据价值化。不仅如此，大数据的应用领域还将从“老三样”迈进到“新三样”，即从互联网、金融、健康这三个增长点转换成城市、企业和工业数据这三大新增长点。
谈到人才和技术的生态方向，CCF大数据专家组预测，开源将持续成为大数据发展的主导性的技术方向和技术平台，测评则会以良币驱逐劣币的方式引导优秀的大数据技术发展，而各种各样的创业创新大赛也会成为人才和技术生态完善的一个重要标准和驱动力。
大数据之变
根据2013年发布的大数据白皮书显示，十大关注点在于：数据的资源化，大数据的隐私问题突出，大数据与云计算等深度融合，基于大数据智能的出现，大数据分析的革命性方法，大数据安全，数据科学兴起，数据共享联盟，大数据新职业和更大的数据。
而2014年的十大关注点是：大数据从概念走向现实，大数据架构的多样化模式并存，大数据的安全和隐私，大数据的分析与可视化，大数据产业成为战略性产业，数据商品化
与数据共享联盟化，基于大数据的推荐与预测流行，深度学习与大数据智能成为支撑，数据科学的兴起与大数据生态环境逐步完善。
基于此，潘柱延分析，从2013年到2014年，大数据从概念走向了价值。而从2014年到2015年，大数据出现了几个明显的变化点，如跨接融合、基础互换和基础突破等亟待解决的问题，从2015年到2016年，大数据最重要的变化则是民生、多样、政策和生态。
4年来，大数据受到关注的应用领域包括互联网、电子商务、金融和健康医疗等，最新的关注领域则是城市化、智慧城市、舆情分析、社会安全等。
据CCF大数据专家组预测，2016年与城市、互联网交易和企业相关的三部分数据可能会取得突破性进展，未来一年的资本投入将对该趋势有所印证。
潘柱延透露，今年的大数据白皮书中重点讨论的是大数据开放共享。
在调研中，CCF大数据专家组邀请了100多位专家讲述2016年的大数据计划以及对数据流转的态度。调研结果显示，业内专家都希望能自己收集数据，并利用收集的数据进行数据服务，希望能买到“数据机”，而专家和其所在的机构计划卖“数据机”的却非常少。
潘柱延指出，数据流转整体处在需求大于供给的状态，尤其是数据国际交换和卖数据。“希望通过政府开放共享，拉动数据交流和交换。政策性是大数据发展的重要指标，不可否认，大数据本身具有概念性，有泡沫存在，但是不能因为啤酒上有泡沫而放弃底下香浓的啤酒。”他强调。
责任编辑：王道发
这款四足机器人最早的版本由Boston Dynamics于2008年开发，之后于2010年获得了美国国防部高级研究计划署(DARPA)的3200万美元合同。到了2012年，这款机器人更名为“阿尔法狗”，但外界还是习惯以“大狗”来称呼它。
从2012年华大基因最早接触资本开始，这一估值在3年内增长了4.6倍，2012年，资本机构给予华大基因的估值仅为33亿元。
如果相关厂商拒绝提供兼容性，或是利用法律去阻止竞争对手进行反向工程，那么我们就无法实现这一目标。
从2012年华大基因最早接触资本开始，这一估值在3年内增长了4.6倍，2012年，资本机构给予华大基因的估值仅为33亿元。
东亚·印象台湖位于通州区台湖镇京通路新城职业学校东侧。
免责声明：
凡发布在本网上的内容，除标注为“中国搜索”或“国搜”的稿件外，其他均转自第三方网站，是为传递更多信息和学习之目的，不意味着本网认可其观点或证实其内容的真实性、准确性。如有意见建议，请点击页面下方的“对国搜说”，欢迎及时反馈。
版权说明：
凡来源标注为“中国搜索”的本网稿件，转载时请注明出处。
科技热搜词
图为考古发现的丝绸之路“小河美女”。2016猴年春节8大数据 总有一个是你贡献的
（原标题：2016猴年春节8大数据 总有一个是你贡献的）
４亿交通运输部统计，7天春节假期全国旅客发送量达4亿人次，同比增长6.7％。除了传统的铁路、公路、民航春运外，今年滴滴顺风车等互联网平台叫车软件首次参与春运，解决了许多打工者的返乡之困。600万报告预计，2016年春节出境游人数将达到570万到600万。最热门的出境目的地国家和地区为日本、泰国、中国台湾、韩国、澳大利亚、越南、新加坡、印度尼西亚、中国香港和菲律宾。271城环境保护部监测数据显示，2016年除夕夜，271个城市空气质量超标，其中47个城市空气质量达到严重污染。但同时，北京、上海以及一些中小城市禁放限放措施有成效。10.33亿据央视公布的数字，除夕夜春晚直播期间的受众总规模达10.33亿。数据涵盖海内外电视、网络、社交媒体等多终端多渠道收视与互动的观众。29亿截至13日，从除夕到初六的电影票房粗略统计超过29亿元，再创春节黄金周电影票房新高。其中，电影《美人鱼》一片上映4天就冲至10亿元票房。40.9万腾讯公司公布的猴年除夕红包整体数据显示，猴年除夕当日微信红包的参与人数达到4.2亿人，收发总量达80.8亿。最高峰每秒钟收发40.9万个红包。
65.6％数据显示，仅在除夕当天，全国有65.6％的支付宝用户进行了迁移。“空城率”前三名均来自广东省，分别是深圳、东莞、广州，“堵城”的前三名则是安徽安庆、湖北黄冈、广东梅州。3.91时数据显示：除夕和初一，平均每个用户每天花在手机上的时间是3.91个小时，比过去一年每天的平均值多了1个小时。其中，春节期间从一线城市返乡的人群，“低头”时间尤为长。（新华）
(原标题：2016猴年春节8大数据 总有一个是你贡献的)
本文来源：大洋网-羊城地铁报
责任编辑：黄欢_NN1650
关键词阅读：
不做嘴炮 只管约到
跟贴热词：
文明上网，登录发贴
网友评论仅供其表达个人看法，并不表明网易立场。
热门产品:　　　
:　　　　　　　　
:　　　　　　　　　
热门影院：
用微信扫描二维码分享至好友和朋友圈