随着社会媒体的发展，在线社会网络成为重要的信息传播平台．社交网络和微博网站如Facebook、Twitter和Googleplus每天要支持几十亿用户的信息分享活动．通过这些系统，人们随时随地的交流观念、分享相册和视频等信息．不同于传统社会网络，在线社会网络展现了一些特殊特征:用户是信息的创造者、接受者和传播者．信息成为除用户以外的主角，它展现了用户之间的社交内容．凭借信息，用户表达了其情绪和观念，而用户对信息的一系列操作表现出了用户的社交行为．在社会网络中，用户之间的关系可能是朋友关系，可能是关注关系，也可能是通过同一信息进行交互的关系，这种包含多种语义的关系称为异构交互．因此，我们将用户实体和非用户实体共同存在，且实体之间存在异构交互的社会网络称为异构社会网络．异构社会网络中，许多因素促使了用户之间的网络拓扑结构的演变，其中关键因素是信息传播［1］．初期，社会网络的构型只是多个非连通的稀疏子图，用户之间是否存在交互，主要依赖于其在现实生活中的社交圈子．而随着信息的传播，用户能够随时随地的获得最新消息，透过这些消息，能够对其他用户相关的如偏好、权威等信息有更多的理解．进而，主动与自己感兴趣或崇拜的用户直接产生关联并互动，使得网络用户之间的网络拓扑构型变为或密集或稀疏的连通图，而这样的网络拓扑也为信息传播提供了更便利的条件．受兴趣或权威等的影响而聚在一起的用户团体，具有高度的互动性，也就更明显的体现出了社团结构．因此，异构社会网络中，社团的形成和信息传播相互影响:信息传播促进社团的形成，而社团的形成又进一步影响信息传播［1］．信息传播不仅体现网络结构特性，同时也体现用户之间的互动行为，其本质上展现了用户影响力的传播．信息不仅包含单纯的内容，更重要的隐含了原创者或传播者的兴趣或威信，称为活动影响力．除此之外，用户在网络拓扑结构的位置也是影响信息传播的一个重要因素，如其邻居的多少，邻居之间关系的紧密程度，决定了信息出现在其他用户视野内的时间、频率及经过的传播路径，从而决定了信息传播的范围和速度，称为结构影响力．因此，信息传播实质上是用户的结构影响力和活动影响力不断作用的过程．用户之间建立或取消关系，或进行评论等交互行为，也就不再是随机的，而是反映了受影响的结果．所以，社会网络中的网络拓扑结构的演变和用户之间的社交行为都是用户影响力传播导致的结果．那么，基于用户影响力传播来研究社会网络中的社团结构也就有据可依，而且可以实现对社团演变的预测．现存的社团发现方法，主要通过用户之间的网络拓扑结构来定义边权重，也有少部分的基于结构和属性的方法来寻找社团．但是，极少的方法将影响力传播考虑到社团发现中．文献［20］提出将独立级联传播模型用于寻找社团，但只是用传播模型确定出节点能影响的邻居节点，并没有真正意义的利用用户影响力传播过程来寻找社团．所以，本文提出的基于节点影响力传播的社团发现方法，不仅仅考虑网络结构，更多从社会网络的社会性，互动性，传播特性等方面来综合考虑社团的形成．在异构社会网络中，用户的社交行为和社交内容很丰富，用户之间的相互影响更加明显．所以，在异构社会网络中，使用基于节点影响力传播来发现社团也就更有意义．但是由于异构社会网络中包含多种实体、静态属性和动态活动，社团发现问题将会面临新的挑战．如异构网络中理想的社团需兼顾结构上的社团特性(社团内和社团间的连接边的紧密稀疏程度)和活动上的社团特性(社团内和社团间的社交内容和社交行为类型的相似程度);如何有效的利用社交行为和社交内容分析大规模的异构社会网络;如何定义用户的结构影响力和活动影响力，并且将二者统一起来描述用户之间的相互影响概率;如何发现重叠社团等．认识到这些新的挑战，本文提出了一种新的社团发现的思路———基于节点影响力传播的社团发现算法．由于节点之间的影响力是相互的，且不平衡的，因此需要考虑节点之间的相互影响概率．同时网络拓扑结构节点的位置对信息传播也具有重要作用，需要定义结构中心度来表示结构影响力(§3.1);另外，节点活动影响力也是节点之间信息传播和产生相互影响的关键因素．我们利用异构社会网络中的社交内容和社交行为信息，提出了定义活动权威性和社交行为相似性的方法(§3.2)．最后将结构中心度和活动影响力统一起来，定义节点之间的相互影响概率(§3.3)．在§4中，我们对原始标签传播算法进行改进，综合考虑影响概率、潜在重叠节点及相应的标签选择策略，提出基于节点影响力传播的可重叠社团的发现算法．在§5实验中，首先验证了提出的结构中心度的合理性，与经典的k-shell［21］进行对比，效果近似，但结构中心度能给出更加精确的影响力值．然后，将本文提出的社团发现算法同时在同构和异构网络上进行实验，实验结果表明我们的算法在异构社会网络中发现的社团，不仅保证社团内网络结构的紧密型，同时兼顾了社团的社会特性:同社团的用户互动性较高．

社团发现是社会网络分析的一个研究热点，随着在线社会网络的发展，特别是海量数据和社交互动的社会性都对社团发现的研究提出了极大的挑战．近些年来提出了许多社团发现的算法，有基于拓扑结构的，有基于结构和属性的．基于拓扑结构的算法研究比较成熟，其大致可分三类．第一类是基于启发式的，典型的有层次聚类．不同的层次聚类方法，主要区别是边权重的定义方法，其中包括边中心介数［2］，随机游走介数［2，6］，信息中心度［3］以及边聚集系数［4］，相似度动力学［5］等．第二类是基于目标函数优化的方法．自从Newman等人［2］提出基于模块化的零参数模型，就涌现了一类基于最大化模块化的社团发现算法，其中包括贪心算法［7］、模拟退火［8］、极值优化［9］和谱优化［10］等．第三类算法则充分利用了拉普拉斯矩阵［11］或正规矩阵［12］的谱特性．随着社会网络的发展，节点和边上也不断的出现属性信息，如节点表示的用户还具有表示自身特征的如兴趣、职业等属性．结合结构和属性的社团发现方法也就提供了新的思路．其中Yangzhou等人［13］提出的基于结构/属性相似度的k-centroid，ZhiqiangXu等人［14］提出的基于模型的属性图聚类．但是这些方法中，由于属性的类型丰富，结合拓扑结构描述节点之间的关系时，每一类属性的权重参数设置就成为这类方法中的一个主要问题．社团还有一个重要的特性:重叠社团．这个特性也是现实生活的真实写照，如一个人通常和多个社会团体有关联，如家族成员、朋友、同事或兴趣小组．比如，微博上的用户可以同时在多个主题的微博圈内活跃．基于重叠社团的特性，Palla等人［15］的基于子团渗透的CPM．Lancichinetti等人［22］提出的基于局部聚类统计特性的最优化方法OSLOM．基于CPM，WanyunCui等人［16］提出的重叠社团搜索方法OCS．Ahn等人［17］提出的链聚类，以及Henserson等人［18］提出的HCDF．但这些方法都是基于结构的，忽视了由于属性产生的重叠社团这个问题．Raghavan等人［19］提出的标签传播算法，结合传播特性，将代表社团ID的标签沿着边传播，每个节点用最多邻居标签数的标签标记，迭代更新标签直到条件满足．该算法在保证一定社团质量的条件下，以接近线性的时间复杂度，实现社团发现．这种高效性使得该算法能够运用到大规模的社会网络中．Lee等人［23］提出的模拟人类交流行为的听说标签传播是基于标签传播的可重叠社团发现，但是由于为每个节点都分配多标签，在大规模图中内存消耗太大．Grego-ry等人［24］提出的基于原始标签传播的可重叠社团发现算法COPRA，该算法控制了任意一个节点最多可属于多个社团的数目v，同时每个节点包含多个从属系数，而从属系数小于某个阈值则不考虑．

3节点影响力及影响概率

基于节点影响力传播过程来寻找社团，其核心在于定义节点影响力和节点之间的相互影响概率．细观传播过程，用户在网络中所处的位置和用户的活动权威对传播至关重要．以图1所示，a中节点1是一个活动权威度很高的节点，但是其邻居之间关系稀疏，则节点1的活动权威度是其能影响邻居与否的关键因素;而b中节点2活动权威度不高，但其处于其邻居中的核心位置，节点2能够直接对邻居产生影响，也可以通过受影响的邻居进而影响没有被节点2直接影响的邻居．所以，节点影响力受结构和活动上的影响力所影响．本文提出结合节点之间结构中心度和活动权威性的差距，以及用户之间的社交行为相似性来综合定义相互影响概率．在进行细节介绍之前，我们需要陈述几个基本概念．

结构中心度是根据节点在社会网络图中的位置，表现出的对信息传播的能力．MaksimKitsak等人［21］提出，处于网络核心和网络边缘的节点，即便两节点度数相同，网络核心节点的传播能力明显高于边缘节点．其原因在于，网络核心的节点，其邻居在结构上相对紧密;相反，网络边缘的节点，其邻居在结构上相对松散．这就说明，在结构上，节点表现出的对信息的传播力，不仅与节点的度数相关，而且与节点的邻居的结构紧密程度相关．基于此，我们先考虑自我网络中，中心节点的局部结构中心度．

3．2活动权威性和社交行为相似性

异构社会网络是指存在多类型实体，实体之间存在异构交互的网络．其中，非用户实体展现社交内容，异构交互展现了社交行为．在分析异构社会网络时，社交行为和社交内容提供了更丰富的信息，利用这些信息能够更有效的量度用户的活动权威度和用户间的社交行为相似性．活动权威性描述用户在社交活动中所展现的影响力．社交行为相似性描述用户在社交活动中表现出的社交行为的近似程度，即在越多相同的非用户实体上参与活动，则两用户社交行为越相似．如用户u1，u2，u3在数据挖掘领域的三个会议(sigmod，icdm，www)中发文章数目的情况分别为u1［2，2，3］，u2［2，3，2］，u3［3，1，0］，则认为u1和u2的社交行为相似性高，u1和u3或u2和u3的社交行为相似性低．基于以上描述，要度量用户的活动权威性和社交行为相似性，就需要对非用户实体根据某些标准进行分类，即定义为高层抽象．定义3高层抽象．非用户实体按照其所属的类别，映射到更高层次的新实体，其可能一层映射，也可能是多层映射．如DBLP的文章实体经过多层映射，其先映射到会议实体，再将会议实体映射到领域实体．

节点之间的相互影响主要由节点之间的影响力差距造成的．社会网络的信息传播过程中，用户主动的接收并传播信息．而促使用户主动接收信息的原因主要是兴趣或权威驱动的，当发现某个用户传出的信息总是很切合自己的兴趣或者很有道理时，用户就会直接去关注并与之互动．

本文中，节点影响力传播的过程与标签算法的思想很相近，而且标签算法接近线性的时间复杂度，也是在大规模数据集上寻找社团的一大优势．所以，我们基于标签传播算法，综合考虑影响概率、潜在重叠节点及相应的标签选择策略对原始算法进行改进，以达到发现可重叠社团的目的．第一，基于节点影响力传播的新标签传播算法，初始化节点标签时，保证每个节点都能独立的选择标签，这样做使得传播过程中的标签不只是一个表示社团的ID，同时也能表现出对社团形成起关键作用的节点．其主要有三种标准:1)如果所有邻居对节点的影响概率都小于1.0，则该节点比任意邻居的影响力都大，那么节点保持自己的ID作为标签;2)对于潜在重叠节点，保留对其影响概率大于1.0的前ε%节点的标签作为自己的标签;3)对于非潜在重叠节点，仅选择对其影响概率最大的节点的标签;第二，在异步标签更新时，标签选择策略:对于非潜在重叠节点，选择邻居中数目最多的标签，如果出现多个标签数目相同，则计算各标签的影响概率总和，选择影响概率总和最大的标签;对潜在重叠节点，选择标签比较复杂．由于其位置的特殊性，可能受到多个高影响力邻居的影响，也可能受多个低影响力节点群的影响，而自身也有自己的影响力，所以其保留的标签是:前ε%高影响力节点的标签，如果低影响力节点群的标签不属于前ε%，则再保留低影响力节点群中最高标签数目的标签;如果有一定比例的邻居标签是潜在重叠节点的ID，则还需保留自身ID作为标签．ε的确定可以自定义，当ε越小，则保留的高影响力节点标签数越少．如图2所示，圆圈内数字代表节点ID，边上的数字表示邻居的标签．按照潜在重叠节点的标签选择，中心节点4应当保留标签1，2，3，4．

我们主要使用异构社会网络DBLP和Digg上的数据集．DBLP中，节点表示作者和文章，然后再根据CCF中对计算机领域会议的领域发现和分区情况，对文章实体进行高层抽象，先映射到会议，再映射到领域，最终获得作者在各领域的活动权威性，根据作者在各领域不同会议中的发文章情况，计算出用户之间的社交行为相似性．特别的，为了进一步分析，我们还从DBLP中抽取了数据库/数据挖掘/信息检索领域的数据集DBDMIR．

在可重叠社团发现算法［15，17，18，22，23，24］中，大多基于无权无向图，我们选择了CPM，OSLOM进行对比实验．CPM中社团被定义为最大子图，这样的最大子图能够通过旋转k子团的方式获得结构上紧密的节点，但是该方法时间复杂度较高．OSLOM是所有众多可重叠社团算法中效果较好的方法，时间复杂O(n2)．

5．3结构中心度合理性

通过在数据集Example，计算出k-shell和局部结构中心度，实验结果如图3所示．图3中虚线线条(位于下方)描述了各个节点在网络中的k-shell值，其中k-shell值为2，11，12，13，14，17，18．k-shell值越大，则说明其处于网络核心，根据［23］，这样的节点结构上的传播能力越强．使用公式(1)计算出的节点局部结构中心度如实线线条(处于上方)所示．

5．4同构社会网络实验

在选择的可直观判别实验结果的数据集Example，验证新的结构中心度和算法有效性．此时，影响概率按公式(4)计算，但是由于没有活动信息，所以w1=0，社团发现算法与算法1基本一致．在实验过程中发现，使用局部结构中心度和使用近邻结构中心度得到的结果基本没有差异，这也就说明:节点在自我网络中表现出的局部结构中心度基本能代表其更广范围内的结构中心度．

本文提出一种基于节点影响力传播的可重叠社团发现算法．首先，我们提出一种新的定义节点结构影响力的方法．其次，基于节点影响力差决定了节点之间相互影响概率的大小，提出了影响概率的定义方法．最后，提出的基于节点影响力传播的社团发现方法是对标签传播算法的改进，综合考虑了影响概率、潜在重叠节点及相应的标签选择策略，最终发现可重叠社团．实验结果证明，该算法能够有效并高效地发现异构社会网络中重叠社团．得到的社团不仅具有结构上社团特征，同时也兼顾活动上的社团特征．这种兼顾特性对社会网络具有特别重要的意义．

作者：赵玉蓉 王轶彤 吴铭泽 单位：复旦大学计算机科学技术学院

社交媒体的社会影响;什么是社交媒体？;著名的社交媒体;正面影响： 新媒体彰显社会影响力;;3年来，彭高峰通过网络发帖、写博客等方式不断发布信息寻找儿子彭文乐，而陪伴彭高峰走过寻子路的《凤凰周刊》采访部主任邓飞去年9月发出的一条《互联网能再创奇迹吗？请帮彭高峰找到他的孩子》的微博在经过数千次转发后，终于在2月1日得到网友的可靠线索并最终成功解救了小乐乐。邓飞对父子俩的重逢进行了微博直播，父子相拥的照片被网友转发了近3000次。邓飞在随后的微博中表示，要在960万平方公里13亿人中找一个被拐卖、被恶意隐藏的孩子“异常困难”，而微博新工具则令人人可以表达，使人人成为记者，可以帮助更多骨肉失散的家长找到自己的孩子。;而事实上，彭高峰仅仅是微博打拐的一个成功案例。据悉，由中国社会科学院农村发展研究所教授于建嵘1月25日发起的“随手拍照解救乞讨儿童”微博，经热心网友不断转发，形成了强大的舆论传播力。截至记者发稿时，新浪微博方面提供的数据显示，网友发布的乞讨儿童照片已超过7180幅，公安部打拐办主任陈士渠及北京市公安局、广东省公安厅等14家公安部门已开通官方微博参与打拐，还有各类媒体及各地义工团体也参与到此次公共行动中来。微博打拐成为2019年春节期间最为温情的公共事件，在全国掀起了一阵声势浩大的“打拐旋风”。;尽管，“微博打拐”还存在一些问题与瑕疵，比如如此声势浩大的行动可能会打草惊蛇，或涉及侵犯真正乞讨儿童隐私权等。对此，互联网上也有很多质疑和批评的声音，但毫无疑问的是，微博在其中更为重要的是正面意义，如果那些零碎的、非专业的呼吁转为更为理性的思考与切实行动，将有助于社会建设进程的推进。;事实上，微博打拐也仅仅是微博平台上爆发的一大亮点。此前，在许多全国关注的大事件中，微博已成为撬动舆情支点最迅速、最直接的平台。新浪相关人士向本报记者透露，目前，新浪微博用户讨论的话题主要集中在新闻（20.8%）、娱乐（15.2%）、心情（12.9%）、生活（12.7%）、专业（10.1%）等领域。微博正在成为人们生活中不可分割的一部分。;未来??产互联网分析师Eric Sun合作完成的《新浪微博研究报告》指出，自新浪推出微博产品1年后，中国已有14%的互联网用户使用微博服务。2019年中国微博用户增加5倍，总浏览时间增加11倍，在中国最常用网络应用程序中排名第16位。分析师预计，微博将在中国社交应用程序中占据更重要的地位。在这个“像Twitter一样的新闻平台”上，任何一个拥有“粉丝”的普通网民都可能成为一个新闻事件的“发声器”。;负面影响：推波助澜;社交媒体前景堪忧，频遭“和谐”;; 过去的几年里社交媒体一石激起千层浪，创造同时也摧毁了无数产业。这些惊人的变化在很大程度上改变了人们的生活方式和整个世界，起到了持久、甚至可能是永恒的影响。 社交媒体让人变得更为社会化。我们与朋友之间的联系增强，彼此之间更好地连接与开放，认识新的伙伴，并且对周围的世界产生更大的兴趣。在过去的年代，只有拥有财富又渴求知识的人才能阅读汲取书中的知识。那时阻碍人们获取知识的，是低识字率，获取书本的困难以及时间匮乏。如今这些阻碍都烟消云散。因为电脑拥有强大的复制和传递信息的能力，而谷歌、维基百科和博客使所有人能够共享信息。现在，唯一存在的阻碍就是我们对知识的渴??。它就在那儿——只要你想要。 但同时，社交网络正让人们都变成婴儿，因为我们的注意力集中时间被缩短、我们的同情心减弱、我们的个性被腐蚀。她甚至说多动症药物处方数量的增加与儿童使用电脑的时间有关。社交网络仅仅增加“短暂的关系”，这正导致社会活动“失去人性”，最终将使我们“失去社交能力”。 ;谢谢

大数据时代悄然来临，带来了信息技术发展的巨大变革，并深刻影响着社会生产和人民生活的方方面面。全球范围内，世界各国政府均高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。企业和学术机构纷纷加大技术、资金和人员投入力度，加强对大数据关键技术的研发与应用，以期在“第三次信息化浪潮”中占得先机、引领市场。大数据已经不是“镜中花、水中月”，它的影响力和作用力正迅速触及社会的每个角落，所到之处，或是颠覆，或是提升，都让人们深切感受到了大数据实实在在的威力。

对于一个国家而言，能否紧紧抓住大数据发展机遇，快速形成核心技术和应用参与新一轮的全球化竞争，将直接决定未来若干年世界范围内各国科技力量博弈的格局。大数据专业人才的培养是新一轮科技较量的基础，高等院校承担着大数据人才培养的重任，因此，各高等院校非常重视大数据课程的开设，大数据课程已经成为计算机科学与技术专业的重要核心课程。

本章首先介绍了大数据的发展历程、基本概念、主要影响、应用领域、关键技术、计算模式和产业发展，并阐述了云计算、物联网的概念及其与大数据之间的紧密关系。

1.1.1　第三次信息化浪潮

根据IBM前首席执行官郭士纳的观点，IT领域每隔15年就会迎来一次重大变革（见表1-1）。1980年前后，个人计算机（PC）开始普及，使得计算机走入企业和千家万户，大大提高了社会生产力，也使人类迎来了第一次信息化浪潮，Intel、IBM、苹果、微软、联想等企业是这个时期的标志。随后，在1995年前后，人类开始全面进入互联网时代，互联网的普及把世界变成“地球村”，每个人都可以自由徜徉于信息的海洋，由此，人类迎来了第二次信息化浪潮，这个时期也缔造了雅虎、谷歌、阿里巴巴、百度等互联网巨头。时隔15年，在2010年前后，云计算、大数据、物联网的快速发展，拉开了第三次信息化浪潮的大幕，大数据时代已经到来，也必将涌现出一批新的市场标杆企业。

表1-1　三次信息化浪潮

1.1.2　信息科技为大数据时代提供技术支撑

信息科技需要解决信息存储、信息传输和信息处理3个核心问题，人类社会在信息科技领域的不断进步，为大数据时代的到来提供了技术支撑。

1．存储设备容量不断增加

数据被存储在磁盘、磁带、光盘、闪存等各种类型的存储介质中，随着科学技术的不断进步，存储设备制造工艺不断升级，容量大幅增加，速度不断提升，价格却在不断下降（见图1-1）。

图1-1　存储价格随时间的变化情况

早期的存储设备容量小、价格高、体积大，例如，IBM在1956年生产的一个早期的商业硬盘，容量只有5MB，不仅价格昂贵，而且体积有一个冰箱那么大（见图1-2）。相反，今天容量为1TB的硬盘，大小只有3.5英寸（约8.89厘米），读写速度达到200MB/s，价格仅为400元左右。廉价、高性能的硬盘存储设备，不仅提供了海量的存储空间，同时大大降低了数据存储成本。

图1-2　IBM在1956年生产的一个早期的商业硬盘

与此同时，以闪存为代表的新型存储介质也开始得到大规模的普及和应用。闪存是一种新兴的半导体存储器，从1989年诞生第一款闪存产品开始，闪存技术不断获得新的突破，并逐渐在计算机存储产品市场中确立了自己的重要地位。闪存是一种非易失性存储器，即使发生断电也不会丢失数据，因此，可以作为永久性存储设备，它具有体积小、质量轻、能耗低、抗震性好等优良特性。

闪存芯片可以被封装制作成SD卡、U盘和固态盘等各种存储产品，SD卡和U盘主要用于个人数据存储，固态盘则越来越多地应用于企业级数据存储。一个32GB的SD卡，体积只有24mm×32mm×2.1mm，质量只有0.5克。以前7 200r/min的硬盘，一秒钟只有100个IOPS（Input/Output Operations Per Second），速率只有50MB/s，而现在的基于闪存的固态盘，每秒钟有几万甚至更高的IOPS，访问延迟只有几十微秒，允许我们以更快的速度读写数据。

总体而言，数据量和存储设备容量二者之间是相辅相成、互相促进的。一方面，随着数据的不断产生，需要存储的数据量不断增加，对存储设备的容量提出了更高的要求，促使存储设备生产商制造更大容量的产品满足市场需求；另一方面，更大容量的存储设备，进一步加快了数据量增长的速度，在存储设备价格高企的年代，由于考虑到成本问题，一些不必要或当前不能明显体现价值的数据往往会被丢弃，但是，随着单位存储空间价格的不断降低，人们开始倾向于把更多的数据保存起来，以期在未来某个时刻可以用更先进的数据分析工具从中挖掘价值。

2．CPU处理能力大幅提升

CPU处理速度的不断提升也是促使数据量不断增加的重要因素。性能不断提升的CPU，大大提高了处理数据的能力，使得我们可以更快地处理不断累积的海量数据。从20世纪80年代至今，CPU的制造工艺不断提升，晶体管数量不断增加（见图1-3），运行频率不断提高，核心（Core）数量逐渐增多，而同等价格所能获得的CPU处理能力也呈几何级数上升。在30多年里，CPU的处理速度已经从10MHz提高到3.6GHz，在2013年之前的很长一段时期，CPU处理速度的增加一直遵循“摩尔定律”，性能每隔18个月提高一倍，价格下降一半。

图1-3　CPU晶体管数目随时间的变化情况

1977年，世界上第一条光纤通信系统在美国芝加哥市投入商用，数据传输速率为45Mbit/s，从此，人类社会的信息传输速度不断被刷新。进入21世纪，世界各国更是纷纷加大宽带网络建设力度，不断扩大网络覆盖范围和传输速度（见图1-4）。以我国为例，截至2012年6月，92.6%的固定宽带用户接入速率达到或超过2Mbit/s，国际互联网出口带宽达到1.48Tbit/s，是2005年的11.4倍。与此同时，移动通信宽带网络迅速发展，3G网络基本普及，4G网络覆盖范围不断加大，各种终端设备可以随时随地传输数据。大数据时代，信息传输不再遭遇网络发展初期的瓶颈和制约。

图1-4　网络带宽随时间的变化情况

1.1.3　数据产生方式的变革促成大数据时代的来临

数据产生方式的变革，是促成大数据时代来临的重要因素。总体而言，人类社会的数据产生方式大致经历了三个阶段：运营式系统阶段、用户原创内容阶段和感知式系统阶段（见图1-5）。

图1-5　数据产生方式的变革

人类社会最早大规模管理和使用数据，是从数据库的诞生开始的。大型零售超市销售系统、银行交易系统、股市交易系统、医院医疗系统、企业客户管理系统等大量运营式系统，都是建立在数据库基础之上的，数据库中保存了大量结构化的企业关键信息，用来满足企业各种业务需求。在这个阶段，数据的产生方式是被动的，只有当实际的企业业务发生时，才会产生新的记录并存入数据库，比如，对于股市交易系统而言，只有当发生一笔股票交易时，才会有相关记录生成。

互联网的出现，使得数据传播更加快捷，不需要借助于磁盘、磁带等物理存储介质传播数据，网页的出现进一步加速了大量网络内容的产生，从而使得人类社会数据量开始呈现“井喷式”增长。但是，互联网真正的数据爆发产生于以“用户原创内容”为特征的Web 2.0时代。Web 1.0时代主要以门户网站为代表，强调内容的组织与提供，大量上网用户本身并不参与内容的产生。而Web 2.0技术以Wiki、博客、微博、微信等自服务模式为主，强调自服务，大量上网用户本身就是内容的生成者，尤其是随着移动互联网和智能手机终端的普及，人们更是可以随时随地使用手机发微博、传照片，数据量开始急剧增加。

物联网的发展最终导致了人类社会数据量的第三次跃升。物联网中包含大量传感器，如温度传感器、湿度传感器、压力传感器、位移传感器、光电传感器等，此外，视频监控摄像头也是物联网的重要组成部分。物联网中的这些设备，每时每刻都在自动产生大量数据，与Web 2.0时代的人工数据产生方式相比，物联网中的自动数据产生方式，将在短时间内生成更密集、更大量的数据，使得人类社会迅速步入“大数据时代”。

1.1.4　大数据的发展历程

从大数据的发展历程来看，总体上可以划分为3个重要阶段：萌芽期、成熟期和大规模应用期（见表1-2）。

表1-2　大数据发展的3个阶段

这里简要回顾一下大数据的发展历程。

• 1980年，著名未来学家阿尔文·托夫勒在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。

• 1997年10月，迈克尔·考克斯和大卫·埃尔斯沃思在第八届美国电气和电子工程师协会（IEEE）关于可视化的会议论文集中，发表了《为外存模型可视化而应用控制程序请求页面调度》的文章，这是在美国计算机学会的数字图书馆中第一篇使用“大数据”这一术语的文章。

• 1999年10月，在美国电气和电子工程师协会（IEEE）关于可视化的年会上，设置了名为“自动化或者交互：什么更适合大数据？”的专题讨论小组，探讨大数据问题。

• 2001年2月，梅塔集团分析师道格·莱尼发布题为《3D数据管理：控制数据容量、处理速度及数据种类》的研究报告。10年后，“3V”（Volume、Variety和Velocity）作为定义大数据的三个维度而被广泛接受。

• 2005年9月，蒂姆·奥莱利发表了《什么是Web 2.0》一文，并在文中指出“数据将是下一项技术核心”。

• 2008年，《自然》杂志推出大数据专刊；计算社区联盟(Computing Community Consortium)发表了报告《大数据计算：在商业、科学和社会领域的革命性突破》，阐述了大数据技术及其面临的一些挑战。

• 2010年2月，肯尼斯·库克尔在《经济学人》上发表了一份关于管理信息的特别报告《数据，无所不在的数据》。

• 2011年2月，《科学》杂志推出专刊《处理数据》，讨论了科学研究中的大数据问题。

• 2011年，维克托·迈尔·舍恩伯格出版著作《大数据时代：生活、工作与思维的大变革》，引起轰动。

• 2011年5月，麦肯锡全球研究院发布《大数据：下一个具有创新力、竞争力与生产力的前沿领域》，提出“大数据”时代到来。

• 2012年3月，美国奥巴马政府发布了《大数据研究和发展倡议》，正式启动“大数据发展计划”，大数据上升为美国国家发展战略，被视为美国政府继信息高速公路计划之后在信息科学领域的又一重大举措。

• 2013年12月，中国计算机学会发布《中国大数据技术与产业发展白皮书》，系统总结了大数据的核心科学与技术问题，推动了中国大数据学科的建设与发展，并为政府部门提供了战略性的意见与建议。

• 2014年5月，美国政府发布2014年全球“大数据”白皮书《大数据：抓住机遇、守护价值》，报告鼓励使用数据来推动社会进步。

随着大数据时代的到来，“大数据”已经成为互联网信息技术行业的流行词汇。关于“什么是大数据”这个问题，大家比较认可关于大数据的“4V”说法。大数据的4个“V”，或者说是大数据的四个特点，包含四个层面：数据量大（Volume）、数据类型繁多（Variety）、处理速度快（Velocity）和价值密度低（Value）。

人类进入信息社会以后，数据以自然方式增长，其产生不以人的意志为转移。从1986年开始到2010年的二十多年时间里，全球数据的数量增长了100倍，今后的数据量增长速度将更快，我们正生活在一个“数据爆炸”的时代。今天，世界上只有25%的设备是联网的，大约80%的上网设备是计算机和手机，而在不远的将来，将有更多的用户成为网民，汽车、电视、家用电器、生产机器等各种设备也将接入互联网。随着Web 2.0和移动互联网的快速发展，人们已经可以随时随地、随心所欲发布包括博客、微博、微信等在内的各种信息。以后，随着物联网的推广和普及，各种传感器和摄像头将遍布我们工作和生活的各个角落，这些设备每时每刻都在自动产生大量数据。

综上所述，人类社会正经历第二次“数据爆炸”（如果把印刷在纸上的文字和图形也看作数据的话，那么，人类历史上第一次数据爆炸发生在造纸术和印刷术发明的时期）。各种数据产生速度之快，产生数量之大，已经远远超出人类可以控制的范围，“数据爆炸”成为大数据时代的鲜明特征。根据著名咨询机构IDC（Internet Data Center）做出的估测，人类社会产生的数据一直都在以每年50%的速度增长，也就是说，每两年就增加一倍，这被称为“大数据摩尔定律”。这意味着，人类在最近两年产生的数据量相当于之前产生的全部数据量之和。预计到2020年，全球将总共拥有35ZB（见表1-3）的数据量，与2010年相比，数据量将增长到近30倍。

表1-3　数据存储单位之间的换算关系

1.2.2　数据类型繁多

大数据的数据来源众多，科学研究、企业应用和Web应用等都在源源不断地生成新的数据。生物大数据、交通大数据、医疗大数据、电信大数据、电力大数据、金融大数据等，都呈现出“井喷式”增长，所涉及的数量十分巨大，已经从TB级别跃升到PB级别。

大数据的数据类型丰富，包括结构化数据和非结构化数据，其中，前者占10%左右，主要是指存储在关系数据库中的数据，后者占90%左右，种类繁多，主要包括邮件、音频、视频、微信、微博、位置信息、链接信息、手机呼叫信息、网络日志等。

如此类型繁多的异构数据，对数据处理和分析技术提出了新的挑战，也带来了新的机遇。传统数据主要存储在关系数据库中，但是，在类似Web 2.0等应用领域中，越来越多的数据开始被存储在NoSQL数据库中，这就必然要求在集成的过程中进行数据转换，而这种转换的过程是非常复杂和难以管理的。传统的OLAP（On-Line Analytical Processing）分析和商务智能工具大都面向结构化数据，而在大数据时代，用户友好的、支持非结构化数据分析的商业软件也将迎来广阔的市场空间。

1.2.3　处理速度快

大数据时代的数据产生速度非常迅速。在Web 2.0应用领域，在1分钟内，新浪可以产生2万条微博，Twitter可以产生10万条推文，苹果可以下载4.7万次应用，淘宝可以卖出6万件商品，人人网可以发生30万次访问，百度可以产生90万次搜索查询，Facebook可以产生600万次浏览量。大名鼎鼎的大型强子对撞机（LHC），大约每秒产生6亿次的碰撞，每秒生成约700MB的数据，有成千上万台计算机分析这些碰撞。

大数据时代的很多应用，都需要基于快速生成的数据给出实时分析结果，用于指导生产和生活实践，因此，数据处理和分析的速度通常要达到秒级响应，这一点和传统的数据挖掘技术有着本质的不同，后者通常不要求给出实时分析结果。

为了实现快速分析海量数据的目的，新兴的大数据分析技术通常采用集群处理和独特的内部设计。以谷歌公司的Dremel为例，它是一种可扩展的、交互式的实时查询系统，用于只读嵌套数据的分析，通过结合多级树状执行过程和列式数据结构，它能做到几秒内完成对万亿张表的聚合查询，系统可以扩展到成千上万的CPU上，满足谷歌上万用户操作PB级数据的需求，并且可以在2～3秒内完成PB级别数据的查询。

1.2.4　价值密度低

大数据虽然看起来很美，但是，价值密度却远远低于传统关系数据库中已经有的那些数据。在大数据时代，很多有价值的信息都是分散在海量数据中的。以小区监控视频为例，如果没有意外事件发生，连续不断产生的数据都是没有任何价值的，当发生偷盗等意外情况时，也只有记录了事件过程的那一小段视频是有价值的。但是，为了能够获得发生偷盗等意外情况时的那一段宝贵的视频，我们不得不投入大量资金购买监控设备、网络设备、存储设备，耗费大量的电能和存储空间，来保存摄像头连续不断传来的监控数据。

如果这个实例还不够典型的话，那么我们可以想象另一个更大的场景。假设一个电子商务网站希望通过微博数据进行有针对性营销，为了实现这个目的，就必须构建一个能存储和分析新浪微博数据的大数据平台，使之能够根据用户微博内容进行有针对性的商品需求趋势预测。愿景很美好，但是，现实代价很大，可能需要耗费几百万元构建整个大数据团队和平台，而最终带来的企业销售利润增加额可能会比投入低许多，从这点来说，大数据的价值密度是较低的。

大数据对科学研究、思维方式和社会发展都具有重要而深远的影响。在科学研究方面，大数据使得人类科学研究在经历了实验、理论、计算3种范式之后，迎来了第四种范式——数据；在思维方式方面，大数据具有“全样而非抽样、效率而非精确、相关而非因果”三大显著特征，完全颠覆了传统的思维方式；在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现；在就业市场方面，大数据的兴起使得数据科学家成为热门职业；在人才培养方面，大数据的兴起将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。

1.3.1　大数据对科学研究的影响

图灵奖获得者、著名数据库专家吉姆·格雷（Jim Gray）博士观察并总结认为，人类自古以来在科学研究上先后历经了实验、理论、计算和数据四种范式（见图1-6），具体如下。

（1）第一种范式：实验

在最初的科学研究阶段，人类采用实验来解决一些科学问题，著名的比萨斜塔实验就是一个典型实例。1590年，伽利略在比萨斜塔上做了“两个铁球同时落地”的实验，得出了重量不同的两个铁球同时下落的结论，从此推翻了亚里士多德“物体下落速度和重量成比例”的学说，纠正了这个持续了1 900年之久的错误结论。

图1-6　科学研究的4种范式

（2）第二种范式：理论

随着科学的进步，人类开始采用各种数学、几何、物理等理论，构建问题模型和解决方案。比如牛顿第一定律、牛顿第二定律、牛顿第三定律构成了牛顿力学的完整体系，奠定了经典力学的概念基础，它的广泛传播和运用对人们的生活和思想产生了重大影响，在很大程度上推动了人类社会的发展与进步。

（3）第三种范式：计算

随着1946年人类历史上第一台计算机ENIAC的诞生，人类社会开始步入计算机时代，科学研究也进入了一个以“计算”为中心的全新时期。通过设计算法并编写相应程序输入计算机运行，人类可以借助于计算机的高速运算能力去解决各种问题。计算机具有存储容量大、运算速度快、精度高、可重复执行等特点，是科学研究的利器，推动了人类社会的飞速发展。

（4）第四种范式：数据

随着数据的不断累积，其宝贵价值日益得到体现，物联网和云计算的出现，更是促成了事物发展从量变到质变的转变，使人类社会开启了全新的大数据时代。在大数据环境下，一切将以数据为中心，从数据中发现问题、解决问题，真正体现数据的价值。大数据将成为科学工作者的宝藏，从数据中可以挖掘未知模式和有价值的信息，服务于生产和生活，推动科技创新和社会进步。

1.3.2　大数据对思维方式的影响

维克托·迈尔·舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中明确指出，大数据时代最大的转变就是思维方式的3种转变：全样而非抽样、效率而非精确、相关而非因果。

过去，由于数据存储和处理能力的限制，在科学分析中，通常采用抽样的方法，即从全集数据中抽取一部分样本数据，通过对样本数据的分析，来推断全集数据的总体特征。通常，样本数据规模要比全集数据小很多，因此，可以在可控的代价内实现数据分析的目的。现在，我们已经迎来大数据时代，大数据技术的核心就是海量数据的存储和处理，分布式文件系统和分布式数据库技术，提供了理论上近乎无限的数据存储能力，分布式并行编程框架MapReduce提供了强大的海量数据并行处理能力。因此，有了大数据技术的支持，科学分析完全可以直接针对全集数据而不是抽样数据，并且可以在短时间内迅速得到分析结果，速度之快，超乎我们的想象。就像前面我们已经提到过的，谷歌公司的Dremel可以在2～3秒内完成PB级别数据的查询。

过去，我们在科学分析中采用抽样分析方法，就必须追求分析方法的精确性，因为，抽样分析只是针对部分样本的分析，其分析结果被应用到全集数据以后，误差会被放大，这就意味着，抽样分析的微小误差，被放大到全集数据以后，可能会变成一个很大的误差。因此，为了保证误差被放大到全集数据时仍然处于可以接受的范围，就必要确保抽样分析结果的精确性。正是由于这个原因，传统的数据分析方法往往更加注重提高算法的精确性，其次才是提高算法效率。现在，大数据时代采用全样分析而不是抽样分析，全样分析结果就不存在误差被放大的问题，因此，追求高精确性已经不是其首要目标；相反，大数据时代具有“秒级响应”的特征，要求在几秒内就迅速给出针对海量数据的实时分析结果，否则就会丧失数据的价值，因此，数据分析的效率成为关注的核心。

过去，数据分析的目的，一方面是解释事物背后的发展机理，比如，一个大型超市在某个地区的连锁店在某个时期内净利润下降很多，这就需要IT部门对相关销售数据进行详细分析找出发生问题的原因；另一方面是用于预测未来可能发生的事件，比如，通过实时分析微博数据，当发现人们对雾霾的讨论明显增加时，就可以建议销售部门增加口罩的进货量，因为，人们关注雾霾的一个直接结果是，大家会想到购买一个口罩来保护自己的身体健康。不管是哪个目的，其实都反映了一种“因果关系”。但是，在大数据时代，因果关系不再那么重要，人们转而追求“相关性”而非“因果性”。比如，我们去淘宝网购物时，当我们购买了一个汽车防盗锁以后，淘宝网还会自动提示你，与你购买相同物品的其他客户还购买了汽车坐垫，也就是说，淘宝网只会告诉你“购买汽车防盗锁”和“购买汽车坐垫”之间存在相关性，但是，并不会告诉你为什么其他客户购买了汽车防盗锁以后还会购买汽车坐垫。

1.3.3　大数据对社会发展的影响

大数据将会对社会发展产生深远的影响，具体表现在以下几个方面：大数据决策成为一种新的决策方式；大数据应用促进信息技术与各行业的深度融合；大数据开发推动新技术和新应用的不断涌现。

1．大数据决策成为一种新的决策方式

根据数据制定决策，并非大数据时代所特有。从20世纪90年代开始，数据仓库和商务智能工具就开始大量用于企业决策。发展到今天，数据仓库已经是一个集成的信息存储仓库，既具备批量和周期性的数据加载能力，也具备数据变化的实时探测、传播和加载能力，并能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策（如宏观决策和长远规划等）和战术决策（如实时营销和个性化服务等）的双重支持。但是，数据仓库以关系数据库为基础，无论是数据类型还是数据量方面都存在较大的限制。现在，大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析，已经成为受到追捧的全新决策方式。比如，政府部门可以把大数据技术融入“舆情分析”，通过对论坛、微博、微信、社区等多种来源数据进行综合分析，弄清或测验信息中本质性的事实和趋势，揭示信息中含有的隐性情报内容，对事物发展做出情报预测，协助实现政府决策，有效应对各种突发事件。

2．大数据应用促进信息技术与各行业的深度融合

有专家指出，大数据将会在未来10年改变几乎每一个行业的业务功能。互联网、银行、保险、交通、材料、能源、服务等行业领域，不断累积的大数据将加速推进这些行业与信息技术的深度融合，开拓行业发展的新方向。比如，大数据可以帮助快递公司选择运费成本最低的最佳行车路径，协助投资者选择收益最大化的股票投资组合，辅助零售商有效定位目标客户群体，帮助互联网公司实现广告精准投放，还可以让电力公司做好配送电计划确保电网安全等。总之，大数据所触及的每个角落，我们的社会生产和生活都会因之而发生巨大而深刻的变化。

3．大数据开发推动新技术和新应用的不断涌现

大数据的应用需求，是大数据新技术开发的源泉。在各种应用需求的强烈驱动下，各种突破性的大数据技术将被不断提出并得到广泛应用，数据的能量也将不断得到释放。在不远的将来，原来那些依靠人类自身判断力的领域应用，将逐渐被各种基于大数据的应用所取代。比如，今天的汽车保险公司，只能凭借少量的车主信息，对客户进行简单类别划分，并根据客户的汽车出险次数给予相应的保费优惠方案，客户选择哪家保险公司都没有太大差别。随着车联网的出现，“汽车大数据”将会深刻改变汽车保险业的商业模式，如果某家商业保险公司能够获取客户车辆的相关细节信息，并利用事先构建的数学模型对客户等级进行更加细致的判定，给予更加个性化的“一对一”优惠方案，那么，毫无疑问，这家保险公司将具备明显的市场竞争优势，获得更多客户的青睐。

1.3.4　大数据对就业市场的影响

大数据的兴起使得数据科学家成为热门职业。2010年的时候，在高科技劳动力市场上还很难见到数据科学家的头衔，但此后，数据科学家逐渐发展成为市场上最热门的职位之一，具有广阔发展前景，并代表着未来的发展方向。

互联网企业和零售、金融类企业都在积极争夺大数据人才，数据科学家成为大数据时代最紧缺的人才。据麦肯锡预测，在未来几年内，仅美国本土就可能缺少14万～19万具备数据深入分析能力的专业人才，能够通过分析大数据支撑企业做出有效决策的数据管理人员和分析师，也大概存在150万人的缺口。

根据中桥调研咨询2013年7月针对中国市场的一次调研结果显示，中国用户目前还主要局限在结构化数据分析方面，尚未进入通过对半结构化和非结构化数据进行分析、捕捉新的市场空间的阶段。但是，大数据中包含了大量的非结构化数据，未来将会产生大量针对非结构化数据分析的市场需求，因此，未来中国市场对掌握大数据分析专业技能的数据科学家的需求会逐年递增。

尽管有少数人认为，未来有更多的数据会采用自动化处理，会逐步降低对数据科学家的需求，但是，仍然有更多的人认为，随着数据科学家给企业所带来的商业价值的日益体现，市场对数据科学家的需求会越发旺盛。

1.3.5　大数据对人才培养的影响

大数据的兴起，将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。一方面，数据科学家是一个需要掌握统计、数学、机器学习、可视化、编程等多方面知识的复合型人才，在中国高校现有的学科和专业设置中，上述专业知识分布在数学、统计和计算机等多个学科中，任何一个学科都只能培养某个方向的专业人才，无法培养全面掌握数据科学相关知识的复合型人才。另一方面，数据科学家需要大数据应用实战环境，在真正的大数据环境中不断学习、实践并融会贯通，将自身技术背景与所在行业业务需求进行深度融合，从数据中发现有价值的信息，但是，目前大多高校还不具备这种培养环境，不仅缺乏大规模基础数据，也缺乏对领域业务需求的理解。鉴于上述两个原因，目前国内的数据科学家人才并不是由高校培养的，而主要是在企业实际应用环境中通过边工作边学习的方式不断成长起来的，其中，互联网领域集中了大多数的数据科学家人才。

在未来5～10年，市场对数据科学家的需求会日益增加，不仅互联网企业需要数据科学家，类似金融、电信这样的传统企业在大数据项目中也需要数据科学家。由于高校目前尚未具备大量培养数据科学家的基础和能力，传统企业很可能会从互联网行业“挖墙角”，来满足企业发展对数据分析人才的需求，继而造成用人成本高企，制约企业的成长壮大。因此，高校应该秉承“培养人才、服务社会”的理念，充分发挥科研和教学综合优势，培养一大批具备数据分析基础能力的数据科学家，有效缓解数据科学家的市场缺口，为促进经济社会发展做出更大贡献。

高校培养数据科学家人才需要采取“两条腿”走路的策略，即“引进来”和“走出去”。所谓“引进来”，是指高校要加强与企业的紧密合作，从企业引进相关数据，为学生搭建起接近企业应用实际的、仿真的大数据实战环境，让学生有机会理解企业业务需求和数据形式，为开展数据分析奠定基础，同时，从企业引进具有丰富实战经验的高级人才，承担起数据科学家相关课程教学任务，切实提高教学质量、水平和实用性。所谓“走出去”，是指积极鼓励和引导学生走出校园，进入互联网、金融、电信等具备大数据应用环境的企业去开展实践活动，同时，努力加强产、学、研合作，创造条件让高校教师参与到企业大数据项目中，实现理论知识与实际应用的深层次融合，锻炼高校教师的大数据实战能力，为更好培养数据科学家人才奠定基础。

在课程体系的设计上，高校应该打破学科界限，设置跨院系跨学科的“组合课程”，由来自计算机、数学、统计等不同院系的教师构建联合教学师资力量，多方合作，共同培养具备大数据分析基础能力的数据科学家，使其全面掌握包括数学、统计学、数据分析、商业分析和自然语言处理等在内的系统知识，具有独立获取知识的能力，并具有较强的实践能力和创新意识。

大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹，表1-4是大数据在各个领域的应用情况。本书在第11～13章将会详细介绍大数据在互联网、生物医学、物流等领域的具体应用。

表1-4　大数据在各个领域的应用一览

1.5　大数据关键技术

当人们谈到大数据时，往往并非仅指数据本身，而是数据和大数据技术这二者的综合。所谓大数据技术，是指伴随着大数据的采集、传输、处理和应用的相关技术，是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。

从数据分析全流程的角度，大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容，具体如表1-5所示。

表1-5　大数据技术的不同层面及其功能

需要指出的是，大数据技术是许多技术的一个集合体，这些技术也并非全部都是新生事务，诸如关系数据库、数据仓库、ETL、OLAP、数据挖掘、数据隐私和安全、数据可视化等已经发展多年的技术，在大数据时代得到不断补充、完善、提高后又有了新的升华，也可以视为大数据技术的一个组成部分。对于这些技术，除了数据可视化技术以外，我们将不做介绍，本书重点阐述近些年新发展起来的大数据核心技术，包括分布式并行编程、分布式文件系统、分布式数据库、NoSQL数据库、云数据库、流计算、图计算等。

1.6　大数据计算模式

MapReduce是被大家所熟悉的大数据处理技术，当人们提到大数据时就会很自然地想到MapReduce，可见其影响力之广。实际上，大数据处理的问题复杂多样，单一的计算模式是无法满足不同类型的计算需求的，MapReduce其实只是大数据计算模式中的一种，它代表了针对大规模数据的批量处理技术，除此以外，还有查询分析计算、图计算、流计算等多种大数据计算模式（见表1-6）。本书后面内容将会介绍批处理计算（第7章）、流计算（第8章）和图计算（第9章）。

表1-6　大数据计算模式及其代表产品

1.6.1　批处理计算

批处理计算主要解决针对大规模数据的批量处理，也是我们日常数据分析工作中非常常见的一类数据处理需求。MapReduce是最具有代表性和影响力的大数据批处理技术，可以并行执行大规模数据处理任务，用于大规模数据集（大于1TB）的并行运算。MapReduce极大地方便了分布式编程工作，它将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数——Map和Reduce，编程人员在不会分布式并行编程的情况下，也可以很容易将自己的程序运行在分布式系统上，完成海量数据集的计算。

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReduce快许多。Spark启用了内存分布数据集，除了能够提供交互式查询外，还可以优化迭代工作负载。在MapReduce中，数据流从一个稳定的来源，进行一系列加工处理后，流出到一个稳定的文件系统（如HDFS）。而对于Spark而言，则使用内存替代HDFS或本地磁盘来存储中间结果，因此，Spark要比MapReduce的速度快许多。

流数据也是大数据分析中的重要数据类型。流数据（或数据流）是指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此，必须采用实时计算的方式给出秒级响应。流计算可以实时处理来自不同数据源的、连续到达的流数据，经过实时分析处理，给出有价值的分析结果。目前业内已涌现出许多的流计算框架与平台，第一类是商业级的流计算平台，包括IBM InfoSphere System）等，第三类是公司为支持自身业务开发的流计算框架，如Facebook使用Puma和HBase相结合来处理实时数据，百度开发了通用实时流数据计算系统DStream，淘宝开发了通用流数据实时计算系统——银河流数据处理平台。

在大数据时代，许多大数据都是以大规模图或网络的形式呈现，如社交网络、传染病传播途径、交通事故对路网的影响等，此外，许多非图结构的大数据，也常常会被转换为图模型后再进行处理分析。MapReduce作为单输入、两阶段、粗粒度数据并行的分布式计算框架，在表达多迭代、稀疏结构和细粒度数据时，往往显得力不从心，不适合用来解决大规模图计算问题。因此，针对大型图的计算，需要采用图计算模式，目前已经出现了不少相关图计算产品。Pregel是一种基于BSP（Bulk Parallel）模型实现的并行图处理系统。为了解决大型图的分布式计算问题，Pregel搭建了一套可扩展的、有容错机制的平台，该平台提供了一套非常灵活的API，可以描述各种各样的图计算。Pregel主要用于图遍历、最短路径、PageRank计算等。其他代表性的图计算产品还包括Facebook针对Pregel的开源实现Giraph、Spark下的GraphX、图数据处理系统PowerGraph等。

1.6.4　查询分析计算

针对超大规模数据的存储管理和查询分析，需要提供实时或准实时的响应，才能很好地满足企业经营管理需求。谷歌公司开发的Dremel，是一种可扩展的、交互式的实时查询系统，用于只读嵌套数据的分析。通过结合多级树状执行过程和列式数据结构，它能做到几秒内完成对万亿张表的聚合查询。系统可以扩展到成千上万的CPU上，满足谷歌上万用户操作PB级的数据，并且可以在2～3秒内完成PB级别数据的查询。此外，Cloudera公司参考Dremel系统开发了实时查询引擎Impala，它提供SQL语义，能快速查询存储在Hadoop的HDFS和HBase中的PB级大数据。

大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。大数据产业包括IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应用层，具体如表1-7所示。

表1-7　大数据产业链的各个环节

近些年，我国一些地方政府也在积极尝试以“大数据产业园”为依托，加快发展本地的大数据产业。大数据产业园是大数据产业的聚集区或大数据技术的产业化项目孵化区，是大数据企业的孵化平台以及大数据企业走向产业化道路的集中区域。陕西西咸新区沣西新城已在信息产业园中规划了国内首家以大数据处理与服务为特色的产业园区；重庆市政府出台的《重庆市大数据行动计划》中明确提出，到2017年，重庆市将打造2至3个大数据产业示范园区，培育10家核心龙头企业、500家大数据应用和服务企业，引进和培养1 000名大数据产业高端人才，形成500亿元大数据产业规模，建成国内重要的大数据产业基地；天津市在2013年11月初公布了《滨海新区大数据行动方案（2013—2015）》，方案中明确提出，到2017年，把天津建设成为具有国际竞争力的大数据产业基地和数据资源聚集服务区。

1.8　大数据与云计算、物联网

云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别。为了更好地理解三者之间的紧密关系，下面将首先简要介绍云计算和物联网的概念，再分析云计算、大数据和物联网的区别与联系。

云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。云计算代表了以虚拟化技术为核心、以低成本为目标的、动态可扩展的网络应用基础设施，是近年来最有代表性的网络计算技术与模式。

云计算包括3种典型的服务模式（见图1-7），即IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）。IaaS将基础设施（计算资源和存储）作为服务出租，PaaS把平台作为服务出租，SaaS把软件作为服务出租。

图1-7　云计算的服务模式和类型

云计算包括公有云、私有云和混合云3种类型（见图1-7）。公有云面向所有用户提供服务，只要是注册付费的用户都可以使用；私有云只为特定用户提供服务；混合云综合了公有云和私有云的特点。

云计算的关键技术包括虚拟化、分布式存储、分布式计算、多租户等。

虚拟化技术是云计算基础架构的基石，是指将一台计算机虚拟为多台逻辑计算机，在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。

虚拟化的资源可以是硬件（如服务器、磁盘和网络），也可以是软件。以服务器虚拟化为例，它将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台相互隔离的虚拟服务器，不再受限于物理上的界限，而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力。

Hyper-V、VMware、KVM、Virtualbox、Xen、Qemu等都是非常典型的虚拟化技术。Hyper-V是微软的一款虚拟化产品，旨在为用户提供成本效益更高的虚拟化基础设施软件，从而为用户降低运作成本，提高硬件利用率，优化基础设施，提高服务器的可用性。Vmware（威睿）是全球桌面到数据中心虚拟化解决方案的领导厂商。

面对数据爆炸的时代，集中式存储已经无法满足海量数据的存储需求，分布式存储应运而生。GFS（Google File System）是谷歌公司推出的一款分布式文件系统，可以满足大型、分布式、对大量数据进行访问的应用的需求。GFS具有很好的硬件容错性，可以把数据存储到成百上千台服务器上面，并在硬件出错的情况下尽量保证数据的完整性。GFS还支持GB或者TB级别超大文件的存储，一个大文件会被分成许多块，分散存储在由数百台机器组成的集群里。HDFS（Hadoop Distributed File System）是对GFS的开源实现，它采用了更加简单的“一次写入、多次读取”文件模型，文件一旦创建、写入并关闭了，之后就只能对它执行读取操作，而不能执行任何修改操作；同时，HDFS是基于Java实现的，具有强大的跨平台兼容性，只要是JDK支持的平台都可以兼容。

谷歌公司后来又以GFS为基础开发了分布式数据管理系统BigTable，它是一个稀疏、分布、持续多维度的排序映射数组，适合于非结构化数据存储的数据库，具有高可靠性、高性能、可伸缩等特点，可在廉价PC服务器上搭建起大规模存储集群。HBase是针对BigTable的开源实现。

面对海量的数据，传统的单指令单数据流顺序执行的方式，已经无法满足快速数据处理的要求；同时，我们也不能寄希望于通过硬件性能的不断提升来满足这种需求，因为，由于晶体管电路已经逐渐接近其物理上的性能极限，摩尔定律已经开始慢慢失效，CPU处理能力再也不会每隔18个月翻一番。在这样的大背景下，谷歌公司提出了并行编程模型MapReduce，让任何人都可以在短时间内迅速获得海量计算能力，它允许开发者在不具备并行开发经验的前提下也能够开发出分布式的并行程序，并让其同时运行在数百台机器上，在短时间内完成海量数据的计算。MapReduce将复杂的、运行于大规模集群上的并行计算过程抽象为两个函数——Map和Reduce，并把一个大数据集切分成多个小的数据集，分布到不同的机器上进行并行处理，极大提高了数据处理速度，可以有效满足许多应用对海量数据的批量处理需求。Hadoop开源实现了MapReduce编程框架，被广泛应用于分布式计算。

多租户技术目的在于使大量用户能够共享同一堆栈的软硬件资源，每个用户按需使用资源，能够对软件服务进行客户化配置，而不影响其他用户的使用。多租户技术的核心包括数据隔离、客户化配置、架构扩展和性能定制。

云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。

谷歌、微软、IBM、惠普、戴尔等国际IT巨头，纷纷投入巨资在全球范围内大量修建数据中心，旨在掌握云计算发展的主导权。我国政府和企业也都在加大力度建设云计算数据中心。内蒙古提出了“西数东输”发展战略，即把本地的数据中心通过网络提供给其他省份用户使用。福建省泉州市安溪县的中国国际信息技术（福建）产业园的数据中心，是福建省重点建设的两大数据中心之一，由惠普公司承建，拥有5 000台刀片服务器，是亚洲规模最大的云渲染平台。阿里巴巴集团公司在中国甘肃玉门建设的数据中心，是中国第一个绿色环保的数据中心，电力全部来自于风力发电，用祁连山融化的雪水冷却数据中心产生的热量。

云计算在电子政务、医疗、卫生、教育、企业等领域的应用不断深化，对提高政府服务水平、促进产业转型升级和培育发展新兴产业等都起到了关键的作用。政务云上可以部署公共安全管理、容灾备份、城市管理、应急管理、智能交通、社会保障等应用，通过集约化建设、管理和运行，可以实现信息资源整合和政务资源共享，推动政务管理创新，加快向服务型政府转型。教育云可以有效整合幼儿教育、中小学教育、高等教育以及继续教育等优质教育资源，逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标。中小企业云能够让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统，大大降低企业信息化门槛，迅速提升企业信息化水平，增强企业市场竞争力。医疗云可以推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享，并形成一套全新的医疗健康服务系统，从而有效地提高医疗保健的质量。

云计算产业作为战略性新兴产业，近些年得到了迅速发展，形成了成熟的产业链结构（见图1-8），产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备、云安全、云计算交付/咨询/认证等环节。

图1-8　云计算产业链

硬件与设备制造环节包括了绝大部分传统硬件制造商，这些厂商都已经在某种形式上支持虚拟化和云计算，主要包括Intel、AMD、Cisco、SUN等。基础设施运营环节包括数据中心运营商、网络运营商、移动通信运营商等。软件与解决方案供应商主要以虚拟化管理软件为主，包括IBM、微软、思杰、SUN、Redhat等。IaaS将基础设施（计算和存储等资源）作为服务出租，向客户出售服务器、存储和网络设备、带宽等基础设施资源，厂商主要包括Amazon、Rackspace、Gogrid、Gridplayer等。PaaS把平台（包括应用设计、应用开发、应用测试、应用托管等）作为服务出租，厂商主要包括谷歌、微软、新浪、阿里巴巴等。SaaS则把软件作为服务出租，向用户提供各种应用，厂商主要包括Salesforce、谷歌等。云安全旨在为各类云用户提供高可信的安全保障，厂商主要包括IBM、OpenStack等。云计算交付/咨询/认证环节包括了三大交付以及咨询认证服务商，这些服务商已经支持绝大多数形式的云计算咨询及认证服务，主要包括IBM、微软、Oracle、思杰等。

物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

从技术架构上来看，物联网可分为四层（见图1-9）：感知层、网络层、处理层和应用层。每层的具体功能如表1-8所示。

图1-9　物联网体系架构

表1-8　物联网各个层次的功能

这里给出一个简单的智能公交实例来加深对物联网概念的理解。目前，很多城市居民的智能手机中都安装了“掌上公交”APP，可以用手机随时随地查询每辆公交车的当前到达位置信息，这就是一种非常典型的物联网应用。在智能公交应用中，每辆公交车都安装了GPS定位系统和3G/4G网络传输模块，在车辆行驶过程中，GPS定位系统会实时采集公交车当前到达位置信息，并通过车上的3G/4G网络传输模块发送给车辆附近的移动通信基站，经由电信运营商的3G/4G移动通信网络传送到智能公交指挥调度中心的数据处理平台，平台再把公交车位置数据发送给智能手机用户，用户的“掌上公交”软件就会显示出公交车的当前位置信息。这个应用实现了“物与物的相连”，即把公交车和手机这两个物体连接在一起，让手机可以实时获得公交车的位置信息，进一步讲，实际上也实现了“物和人的连接”，让手机用户可以实时获得公交车位置信息。在这个应用中，安装在公交车上的GPS定位设备就属于物联网的感知层；安装在公交车上的3G/4G网络传输模块以及电信运营商的3G/4G移动通信网络，属于物联网的网络层；智能公交指挥调度中心的数据处理平台属于物联网的处理层；智能手机上安装的“掌上公交”APP，属于物联网的应用层。

物联网是物与物相连的网络，通过为物体加装二维码、RFID标签、传感器等，就可以实现物体身份唯一标识和各种信息的采集，再结合各种类型网络连接，就可以实现人和物、物和物之间的信息交换。因此，物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。

二维码是物联网中一种很重要的自动识别技术，是在一维条码基础上扩展出来的条码技术。二维码包括堆叠式/行排式二维码和矩阵式二维码，后者较为常见。如图1-10所示，矩阵式二维码在一个矩形空间中通过黑、白像素在矩阵中的不同分布进行编码。在矩阵相应元素位置上，用点（方点、圆点或其他形状）的出现表示二进制“1”，点的不出现表示二进制的“0”，点的排列组合确定了矩阵式二维条码所代表的意义。二维码具有信息容量大、编码范围广、容错能力强、译码可靠性高、成本低易制作等良好特性，已经得到了广泛的应用。

图1-10　矩阵式二维码

Identification）技术用于静止或移动物体的无接触自动识别，具有全天候、无接触、可同时实现多个物体自动识别等特点。RFID技术在生产和生活中得到了广泛的应用，大大推动了物联网的发展，我们平时使用的公交卡、门禁卡、校园卡等都嵌入了RFID芯片，可以实现迅速、便捷的数据交换。从结构上讲，RFID是一种简单的无线通信系统，由RFID读写器和RFID标签两个部分组成。RFID标签是由天线、耦合元件、芯片组成的，是一个能够传输信息、回复信息的电子模块。RFID读写器是由天线、耦合元件、芯片组成的，用来读取（或者有时也可以写入）RFID标签中的信息。RFID使用RFID读写器及可附着于目标物的RFID标签，利用频率信号将信息由RFID标签传送至RFID读写器。以公交卡为例，市民持有的公交卡就是一个RFID标签（见图1-11），公交车上安装的刷卡设备就是RFID读写器，当我们执行刷卡动作时，就完成了一次RFID标签和RFID读写器之间的非接触式通信和数据交换。

图1-11　采用RFID芯片的公交卡

传感器是一种能感受规定的被测量件并按照一定的规律（数学函数法则）转换成可用信号的器件或装置，具有微型化、数字化、智能化、网络化等特点。人类需要借助于耳朵、鼻子、眼睛等感觉器官感受外部物理世界，类似地，物联网也需要借助于传感器实现对物理世界的感知。物联网中常见的传感器类型有光敏传感器、声敏传感器、气敏传感器、化学传感器、压敏传感器、温敏传感器、流体传感器等（见图1-12），可以用来模仿人类的视觉、听觉、嗅觉、味觉和触觉。

图1-12　不同类型的传感器

物联网中的网络与通信技术包括短距离无线通信技术和远程通信技术。短距离无线通信技术包括Zigbee、NFC、蓝牙、Wi-Fi、RFID等。远程通信技术包括互联网、2G/3G/4G移动通信网络、卫星通信网络等。

（3）数据挖掘与融合技术

物联网中存在大量数据来源、各种异构网络和不同类型系统，如此大量的不同类型数据，如何实现有效整合、处理和挖掘，是物联网处理层需要解决的关键技术问题。今天，云计算和大数据技术的出现，为物联网数据存储、处理和分析提供了强大的技术支撑，海量物联网数据可以借助于庞大的云计算基础设施实现廉价存储，利用大数据技术实现快速处理和分析，满足各种实际应用需求。

物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用，具体如下。

• 智能交通。利用RFID、摄像头、线圈、导航设备等物联网技术构建的智能交通系统，可以让人们随时随地通过智能手机、大屏幕、电子站牌等方式，了解城市各条道路的交通状况、所有停车场的车位情况、每辆公交车的当前到达位置等信息，合理安排行程，提高出行效率。

• 智慧医疗。医生利用平板电脑、智能手机等手持设备，通过无线网络，可以随时连接访问各种诊疗仪器，实时掌握每个病人的各项生理指标数据，科学、合理地制定诊疗方案，甚至可以支持远程诊疗。

• 智能家居。利用物联网技术提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。比如，可以在工作单位通过智能手机远程开启家里的电饭煲、空调、门锁、监控、窗帘和电灯等，家里的窗帘和电灯也可以根据时间和光线变化自动开启和关闭。

• 环保监测。可以在重点区域放置监控摄像头或水质土壤成分检测仪器，相关数据可以实时传输到监控中心，出现问题时实时发出警报。

• 智能安防。采用红外线、监控摄像头、RFID等物联网设备，实现小区出入口智能识别和控制、意外情况自动识别和报警、安保巡逻智能化管理等功能。

• 智能物流。利用集成智能化技术，使物流系统能模仿人的智能，具有思维、感知、学习、推理判断和自行解决物流中某些问题的能力（如选择最佳行车路线，选择最佳包裹装车方案），从而实现物流资源优化调度和有效配置，提升物流系统效率。

• 智能电网。通过智能电表，不仅可以免去抄表工的大量工作，还可以实时获得用户用电信息，提前预测用电高峰和低谷，为合理设计电力需求响应系统提供依据。

• 智慧农业。利用温度传感器、湿度传感器和光线传感器，实时获得种植大棚内的农作物生长环境信息，远程控制大棚遮光板、通风口、喷水口的开启和关闭，让农作物始终处于最优生长环境，提高农作物产量和品质。

• 智能工业。将具有环境感知能力的各类终端、基于泛在技术的计算模式、移动通信技术等不断融入工业生产的各个环节，大幅提高制造效率，改善产品质量，降低产品成本和资源消耗，将传统工业提升到智能化的新阶段。

完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等环节（见图1-13），具体如下。

图1-13　物联网产业链

• 核心感应器件提供商。提供二维码、RFID及读写机具、传感器、智能仪器仪表等物联网核心感应器件。

• 感知层末端设备提供商。提供射频识别设备、传感系统及设备、智能控制系统及设备、GPS设备、末端网络产品等。

• 网络提供商。包括电信网络运营商、广电网络运营商、互联网运营商、卫星网络运营商和其他网络运营商等。

• 软件与行业解决方案提供商。提供微操作系统、中间件、解决方案等。

• 系统集成商。提供行业应用集成服务。

• 运营及服务提供商。开展行业物联网运营及服务。

1.8.3　大数据与云计算、物联网的关系

云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系。云计算最初主要包含了两类含义：一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术；另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。但是，随着大数据概念的提出，云计算中的分布式计算技术开始更多地被列入大数据技术，而人们提到云计算时，更多指的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模式（如IaaS、PaaS、SaaS）。从云计算和大数据概念的诞生到现在，二者之间的关系非常微妙，既密不可分，又千差万别。因此，我们不能把云计算和大数据割裂开来作为截然不同的两类技术来看待。此外，物联网也是和云计算、大数据相伴相生的技术。下面总结一下三者的联系与区别（见图1-14）。

图1-14　大数据、云计算和物联网三者之间的关系

第一，大数据、云计算和物联网的区别。大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源并通过网络以服务的方式，廉价地提供给用户；物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。

第二，大数据、云计算和物联网的联系。从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自于云计算，云计算的分布式数据存储和管理系统（包括分布式文件系统和分布式数据库系统）提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力，没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，没有大数据这个“练兵场”，云计算技术再先进，也不能发挥它的应用价值。物联网的传感器源源不断产生的大量数据，构成了大数据的重要数据来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段转向自动产生阶段，大数据时代也不会这么快就到来。同时，物联网需要借助于云计算和大数据技术，实现物联网大数据的存储、分析和处理。

可以说，云计算、大数据和物联网三者已经彼此渗透、相互融合，在很多应用场合都可以同时看到三者的身影。在未来，三者会继续相互促进、相互影响，更好地服务于社会生产和生活的各个领域。

本章介绍了大数据技术的发展历程，并指出信息科技的不断进步为大数据时代提供了技术支撑，数据产生方式的变革促成了大数据时代的来临。

大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点，统称“4V”。大数据对科学研究、思维方式、社会发展、就业市场和人才培养等方面，都产生了重要的影响，深刻理解大数据的这些影响，有助于我们更好把握学习和应用大数据的方向。

大数据在金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都得到了日益广泛的应用，深刻地改变着我们的社会生产和日常生活。

大数据并非单一的数据或技术，而是数据和大数据技术的综合体。大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。

大数据产业包括IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应用层，在不同层面，都已经形成了一批引领市场的技术和企业。

本章最后介绍了云计算和物联网的概念和关键技术，并阐述了大数据、云计算和物联网三者之间的区别与联系。

1．试述信息技术发展史上的3次信息化浪潮及其具体内容。

2．试述数据产生方式经历的几个阶段。

3．试述大数据的4个基本特征。

4．试述大数据时代的“数据爆炸”特性。

5．科学研究经历了哪4个阶段？

6．试述大数据对思维方式的重要影响。

7．大数据决策与传统的基于数据仓库的决策有什么区别？

8．举例说明大数据的具体应用。

9．举例说明大数据的关键技术。

10．大数据产业包含哪些层面？

11．定义并解释以下术语：云计算、物联网。

12．详细阐述大数据、云计算和物联网三者之间的区别与联系。