中国最大的IT经理人实战案例库，汇聚数万管理案例更有经典解析！
重现真实案例场景，多角度分析，全方位点评，造就中国独一无二的管理案例库！
什么是大数据时代数据分析的灵魂
被浏览 42520 次
什么是数据？数据（data）在拉丁文里是“已知”的意思，在英文中的一个解释是“一组事实的集合，从中可以分析出结论”。笼统地说，凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的，就可称之为数据。古人“结绳记事”，打了结的绳子就是数据。步入现代社会，信息的种类和数量越来越丰富，载体也越来越多。数字是数据，文字是数据，图像、音频、视频等都是数据。什么是大数据呢？量的增多，是人们对大数据的第一个认识。随着科技发展，各个领域的数据量都在迅猛增长。有研究发现，近年来，数字数据的数量每3年多就会翻一番。大数据区别于数据，还在于数据的多样性。正如高德纳咨询公司研究报告指出的，数据的爆炸是三维的、立体的。所谓的三维，除了指数据量快速增大外，还指数据增长速度的加快，以及数据的多样性，即数据的来源、种类不断增加。从数据到大数据，不仅是量的积累，更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析，原本孤立的数据变得互相联通。这使得人们通过数据分析，能发现小数据时代很难发现的新知识，创造新的价值。通过数据来研究规律、发现规律，贯穿了人类社会发展的始终。人类科学发展史上的不少进步都和数据采集分析直接相关，例如现代医学流行病学的开端。伦敦1854年发生了大规模的霍乱，很长时间没有办法控制。一位医师用标点地图的方法研究了当地水井分布和霍乱患者分布之间的关系，发现有一口水井周围，霍乱患病率明显较高，借此找到了霍乱暴发的原因：一口被污染的水井。关闭这口水井之后，霍乱的发病率明显下降。这种方法，充分展示了数据的力量。本质上说，许多科学活动都是数据挖掘，不是从预先设定好的理论或者原理出发，通过演绎来研究问题，而是从数据本身出发通过归纳来总结规律。近现代以来，随着我们面临的问题变得越来越复杂，通过演绎的方式来研究问题常常变得很困难。这就使得数据归纳的方法变得越来越重要，数据的重要性也越发凸显出来。大数据是非竞争性资源，有助于政府科学决策、商家精准营销大数据时代，数据的重要作用更加凸显，许多国家都把大数据提升到国家战略的高度。政府合理利用大数据，引导决策的将是基于实证的事实，政府会更有预见性、更加负责、更加开放。中国古代治国就已经有重数据的思想，如商鞅提出，“强国知十三数……欲强国，不知国十三数，地虽利，民虽众，国愈弱至削”。大数据时代，循“数”治国将更加有效。小数据时代，政府做决策更多依凭经验和局部数据，难免头痛医头、脚痛医脚。比如，交通堵塞就多修路。大数据时代，政府做决策能够从粗放型转向集约型。路堵了，利用大数据分析，可以得知哪一时间、哪一地段最容易堵，或在这一地段附近多修路，或提前预警引导居民合理安排出行，实现对交通流的最佳配置和控制，改善交通。对于商家来说，大数据使精准营销成为可能。一个有趣的故事，是沃尔玛超市的“啤酒、尿布”现象。沃尔玛超市分析销售数据时发现，顾客消费单上和尿布一起出现次数最多的商品，竟然是啤酒。跟踪调查后发现，有不少年轻爸爸会在买尿布时，顺便买些啤酒喝。沃尔玛发现这一规律后，搭配促销啤酒、尿布，销量大幅增加。大数据时代，每个人都会“自发地”提供数据。我们的各种行为，如点击网页、使用手机、刷卡消费、观看电视、坐地铁出行、驾驶汽车，都会生成数据并被记录下来，我们的性别、职业、喜好、消费能力等信息，都会被商家从中挖掘出来，以分析商机。大数据也将使个人受益。从生物学、医学上讲，以前生物学家只是通过对单个或几个基因的操控来观察其对生物体的影响，很难发现整体的关联。现在由于技术的发展，可以分析很多，如遗传信息、全体基因的表达量信息、蛋白质族谱信息、全基因组甲基化信息、表观遗传信息等。同时还有个人健康指标、病历、药物反应等数据。如果真能达成生物学上多维多向数据的有机融合，就能够把个人完整地描述出来，从而实现精准医疗的目的。大数据时代，审核数据的真实性也有了更有效的手段。大数据的特征之一是多样性，不同来源、不同维度的数据之间存在一定的关联度，可以交叉验证。例如，某地的工业产值虚报了一倍，但用电量和能耗却没有达到相应的规模。这就是数据异常，很容易被系统识别出来。发现异常后，相关部门再进行复核，就能更有针对性地防止、打击数据造假。数据是一种资源，但数据又跟煤、石油等物质性资源不一样。物质性资源不可再生，你用多了，别人就用少了，因而很难共享。数据可以重复使用、不断产生新的价值。大数据资源的使用是非恶性竞争的，共享的前提下，更能够制造双赢。从另一个角度来说，数据如果不被融合、联系在一起，也不能称之为大数据。大数据不能被直接拿来使用，统计学依然是数据分析的灵魂现在社会上有一种流行的说法，认为在大数据时代，“样本=全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。在我看来，这种观点非常错误。首先，大数据告知信息但不解释信息。打个比方说，大数据是“原油”而不是“汽油”，不能被直接拿来使用。就像股票市场，即使把所有的数据都公布出来，不懂的人依然不知道数据代表的信息。大数据时代，统计学依然是数据分析的灵魂。正如加州大学伯克利分校迈克尔·乔丹教授指出的，“没有系统的数据科学作为指导的大数据研究，就如同不利用工程科学的知识来建造桥梁，很多桥梁可能会坍塌，并带来严重的后果。”其次，全数据的概念本身很难经得起推敲。全数据，顾名思义就是全部数据。这在某些特定的场合对于某些特定的问题确实可能实现。比如，要比较清华、北大两校同学数学能力整体上哪个更强，可以收集到两校同学高考时的数学成绩作为研究的数据对象。从某种意义上说，这是全数据。但是，并不是说我们有了这个全数据就能很好地回答问题。一方面，这个数据虽然是全数据，但仍然具有不确定性。入校时的数学成绩并不一定完全代表学生的数学能力。假如让所有同学重新参加一次高考，几乎每个同学都会有一个新的成绩。分别用这两组全数据去做分析，结论就可能发生变化。另一方面，事物在不断地发展和变化，同学入校时的成绩并不能够代表现在的能力。全体同学的高考成绩数据，仅对于那次考试而言是全数据。“全”是有边界的，超出了边界就不再是全知全能了。事物的发展充满了不确定性，而统计学，既研究如何从数据中把信息和规律提取出来，找出最优化的方案；也研究如何把数据当中的不确定性量化出来。所以说，在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。
[正在进行]
[正在进行]
[正在进行]
相关问题/案例
扫一扫，加微信订阅号1755人阅读
其他杂文（17）
让大数据区别于数据的，是其海量积累、高增长率和多样性什么是数据？数据（data）在拉丁文里是“已知”的意思，在英文中的一个解释是“一组事实的集合，从中可以分析出结论”。笼统地说，凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的，就可称之为数据。古人“结绳记事”，打了结的绳子就是数据。步入现代社会，信息的种类和数量越来越丰富，载体也越来越多。数字是数据，文字是数据，图像、音频、视频等都是数据。什么是大数据呢？量的增多，是人们对大数据的第一个认识。随着科技发展，各个领域的数据量都在迅猛增长。有研究发现，近年来，数字数据的数量每3年多就会翻一番。大数据区别于数据，还在于数据的多样性。正如高德纳咨询公司研究报告指出的，数据的爆炸是三维的、立体的。所谓的三维，除了指数据量快速增大外，还指数据增长速度的加快，以及数据的多样性，即数据的来源、种类不断增加。从数据到大数据，不仅是量的积累，更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析，原本孤立的数据变得互相联通。这使得人们通过数据分析，能发现小数据时代很难发现的新知识，创造新的价值。通过数据来研究规律、发现规律，贯穿了人类社会发展的始终。人类科学发展史上的不少进步都和数据采集分析直接相关，例如现代医学流行病学的开端。伦敦1854年发生了大规模的霍乱，很长时间没有办法控制。一位医师用标点地图的方法研究了当地水井分布和霍乱患者分布之间的关系，发现有一口水井周围，霍乱患病率明显较高，借此找到了霍乱暴发的原因：一口被污染的水井。关闭这口水井之后，霍乱的发病率明显下降。这种方法，充分展示了数据的力量。本质上说，许多科学活动都是数据挖掘，不是从预先设定好的理论或者原理出发，通过演绎来研究问题，而是从数据本身出发通过归纳来总结规律。近现代以来，随着我们面临的问题变得越来越复杂，通过演绎的方式来研究问题常常变得很困难。这就使得数据归纳的方法变得越来越重要，数据的重要性也越发凸显出来。大数据是非竞争性资源，有助于政府科学决策、商家精准营销大数据时代，数据的重要作用更加凸显，许多国家都把大数据提升到国家战略的高度。政府合理利用大数据，引导决策的将是基于实证的事实，政府会更有预见性、更加负责、更加开放。中国古代治国就已经有重数据的思想，如商鞅提出，“强国知十三数……欲强国，不知国十三数，地虽利，民虽众，国愈弱至削”。大数据时代，循“数”治国将更加有效。小数据时代，政府做决策更多依凭经验和局部数据，难免头痛医头、脚痛医脚。比如，交通堵塞就多修路。大数据时代，政府做决策能够从粗放型转向集约型。路堵了，利用大数据分析，可以得知哪一时间、哪一地段最容易堵，或在这一地段附近多修路，或提前预警引导居民合理安排出行，实现对交通流的最佳配置和控制，改善交通。对于商家来说，大数据使精准营销成为可能。一个有趣的故事，是沃尔玛超市的“啤酒、尿布”现象。沃尔玛超市分析销售数据时发现，顾客消费单上和尿布一起出现次数最多的商品，竟然是啤酒。跟踪调查后发现，有不少年轻爸爸会在买尿布时，顺便买些啤酒喝。沃尔玛发现这一规律后，搭配促销啤酒、尿布，销量大幅增加。大数据时代，每个人都会“自发地”提供数据。我们的各种行为，如点击网页、使用手机、刷卡消费、观看电视、坐地铁出行、驾驶汽车，都会生成数据并被记录下来，我们的性别、职业、喜好、消费能力等信息，都会被商家从中挖掘出来，以分析商机。大数据也将使个人受益。从生物学、医学上讲，以前生物学家只是通过对单个或几个基因的操控来观察其对生物体的影响，很难发现整体的关联。现在由于技术的发展，可以分析很多，如遗传信息、全体基因的表达量信息、蛋白质族谱信息、全基因组甲基化信息、表观遗传信息等。同时还有个人健康指标、病历、药物反应等数据。如果真能达成生物学上多维多向数据的有机融合，就能够把个人完整地描述出来，从而实现精准医疗的目的。大数据时代，审核数据的真实性也有了更有效的手段。大数据的特征之一是多样性，不同来源、不同维度的数据之间存在一定的关联度，可以交叉验证。例如，某地的工业产值虚报了一倍，但用电量和能耗却没有达到相应的规模。这就是数据异常，很容易被系统识别出来。发现异常后，相关部门再进行复核，就能更有针对性地防止、打击数据造假。数据是一种资源，但数据又跟煤、石油等物质性资源不一样。物质性资源不可再生，你用多了，别人就用少了，因而很难共享。数据可以重复使用、不断产生新的价值。大数据资源的使用是非恶性竞争的，共享的前提下，更能够制造双赢。从另一个角度来说，数据如果不被融合、联系在一起，也不能称之为大数据。大数据不能被直接拿来使用，统计学依然是数据分析的灵魂现在社会上有一种流行的说法，认为在大数据时代，“样本=全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。在我看来，这种观点非常错误。首先，大数据告知信息但不解释信息。打个比方说，大数据是“原油”而不是“汽油”，不能被直接拿来使用。就像股票市场，即使把所有的数据都公布出来，不懂的人依然不知道数据代表的信息。大数据时代，统计学依然是数据分析的灵魂。正如加州大学伯克利分校迈克尔·乔丹教授指出的，“没有系统的数据科学作为指导的大数据研究，就如同不利用工程科学的知识来建造桥梁，很多桥梁可能会坍塌，并带来严重的后果。”其次，全数据的概念本身很难经得起推敲。全数据，顾名思义就是全部数据。这在某些特定的场合对于某些特定的问题确实可能实现。比如，要比较清华、北大两校同学数学能力整体上哪个更强，可以收集到两校同学高考时的数学成绩作为研究的数据对象。从某种意义上说，这是全数据。但是，并不是说我们有了这个全数据就能很好地回答问题。一方面，这个数据虽然是全数据，但仍然具有不确定性。入校时的数学成绩并不一定完全代表学生的数学能力。假如让所有同学重新参加一次高考，几乎每个同学都会有一个新的成绩。分别用这两组全数据去做分析，结论就可能发生变化。另一方面，事物在不断地发展和变化，同学入校时的成绩并不能够代表现在的能力。全体同学的高考成绩数据，仅对于那次考试而言是全数据。“全”是有边界的，超出了边界就不再是全知全能了。事物的发展充满了不确定性，而统计学，既研究如何从数据中把信息和规律提取出来，找出最优化的方案；也研究如何把数据当中的不确定性量化出来。所以说，在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。来源：
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：1729676次
积分：22667
积分：22667
排名：第294名
原创：314篇
转载：10篇
评论：3810条
《图像处理中的数学修炼》
图像处理书籍读者群（）
:隐匿在数据结构背后的原理（C++版）
读者请加算法学习群（）
1. 在博客文章下留言，博客私信一律不回。
2. 邮件，将#换成@。
3. 算法与数据结构QQ群：，仅限算法之美读者交流之用。
文章：12篇
阅读：34214
文章：44篇
阅读：324229大数据时代，什么是数据分析的灵魂
点击图片上方【福元运通总部】一键关注哦
福元运通，致力于中国融资中介服务领域，全面打造中国融资中介服务资源O2O整合平台，福元运通，融通未来。
福元运通，中国第三方融资中介服务机构，为中小企业提供专业化、个性化的融资服务解决方案，福元运通，融通未来。
网络覆盖20余个省、市、自治区，拥有数百家各级加盟机构。
让大数据区别于数据的，是其海量积累、高增长率和多样性
什么是数据？数据（data）在拉丁文里是“已知”的意思，在英文中的一个解释是“一组事实的集合，从中可以分析出结论”。笼统地说，凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的，就可称之为数据。古人“结绳记事”，打了结的绳子就是数据。步入现代社会，信息的种类和数量越来越丰富，载体也越来越多。数字是数据，文字是数据，图像、音频、视频等都是数据。
什么是大数据呢？量的增多，是人们对大数据的第一个认识。随着科技发展，各个领域的数据量都在迅猛增长。有研究发现，近年来，数字数据的数量每3年多就会翻一番。
大数据区别于数据，还在于数据的多样性。正如高德纳咨询公司研究报告指出的，数据的爆炸是三维的、立体的。所谓的三维，除了指数据量快速增大外，还指数据增长速度的加快，以及数据的多样性，即数据的来源、种类不断增加。
从数据到大数据，不仅是量的积累，更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析，原本孤立的数据变得互相联通。这使得人们通过数据分析，能发现小数据时代很难发现的新知识，创造新的价值。
通过数据来研究规律、发现规律，贯穿了人类社会发展的始终。人类科学发展史上的不少进步都和数据采集分析直接相关，例如现代医学流行病学的开端。伦敦1854年发生了大规模的霍乱，很长时间没有办法控制。一位医师用标点地图的方法研究了当地水井分布和霍乱患者分布之间的关系，发现有一口水井周围，霍乱患病率明显较高，借此找到了霍乱暴发的原因：一口被污染的水井。关闭这口水井之后，霍乱的发病率明显下降。这种方法，充分展示了数据的力量。
本质上说，许多科学活动都是数据挖掘，不是从预先设定好的理论或者原理出发，通过演绎来研究问题，而是从数据本身出发通过归纳来总结规律。近现代以来，随着我们面临的问题变得越来越复杂，通过演绎的方式来研究问题常常变得很困难。这就使得数据归纳的方法变得越来越重要，数据的重要性也越发凸显出来。
大数据是非竞争性资源，有助于政府科学决策、商家精准营销
大数据时代，数据的重要作用更加凸显，许多国家都把大数据提升到国家战略的高度。
政府合理利用大数据，引导决策的将是基于实证的事实，政府会更有预见性、更加负责、更加开放。中国古代治国就已经有重数据的思想，如商鞅提出，“强国知十三数……欲强国，不知国十三数，地虽利，民虽众，国愈弱至削”。大数据时代，循“数”治国将更加有效。小数据时代，政府做决策更多依凭经验和局部数据，难免头痛医头、脚痛医脚。比如，交通堵塞就多修路。大数据时代，政府做决策能够从粗放型转向集约型。路堵了，利用大数据分析，可以得知哪一时间、哪一地段最容易堵，或在这一地段附近多修路，或提前预警引导居民合理安排出行，实现对交通流的最佳配置和控制，改善交通。
对于商家来说，大数据使精准营销成为可能。一个有趣的故事，是沃尔玛超市的“啤酒、尿布”现象。沃尔玛超市分析销售数据时发现，顾客消费单上和尿布一起出现次数最多的商品，竟然是啤酒。跟踪调查后发现，有不少年轻爸爸会在买尿布时，顺便买些啤酒喝。沃尔玛发现这一规律后，搭配促销啤酒、尿布，销量大幅增加。大数据时代，每个人都会“自发地”提供数据。我们的各种行为，如点击网页、使用手机、刷卡消费、观看电视、坐地铁出行、驾驶汽车，都会生成数据并被记录下来，我们的性别、职业、喜好、消费能力等信息，都会被商家从中挖掘出来，以分析商机。
大数据也将使个人受益。从生物学、医学上讲，以前生物学家只是通过对单个或几个基因的操控来观察其对生物体的影响，很难发现整体的关联。现在由于技术的发展，可以分析很多，如遗传信息、全体基因的表达量信息、蛋白质族谱信息、全基因组甲基化信息、表观遗传信息等。同时还有个人健康指标、病历、药物反应等数据。如果真能达成生物学上多维多向数据的有机融合，就能够把个人完整地描述出来，从而实现精准医疗的目的。
大数据时代，审核数据的真实性也有了更有效的手段。大数据的特征之一是多样性，不同来源、不同维度的数据之间存在一定的关联度，可以交叉验证。例如，某地的工业产值虚报了一倍，但用电量和能耗却没有达到相应的规模。这就是数据异常，很容易被系统识别出来。发现异常后，相关部门再进行复核，就能更有针对性地防止、打击数据造假。
数据是一种资源，但数据又跟煤、石油等物质性资源不一样。物质性资源不可再生，你用多了，别人就用少了，因而很难共享。数据可以重复使用、不断产生新的价值。大数据资源的使用是非恶性竞争的，共享的前提下，更能够制造双赢。从另一个角度来说，数据如果不被融合、联系在一起，也不能称之为大数据。
大数据不能被直接拿来使用，统计学依然是数据分析的灵魂
现在社会上有一种流行的说法，认为在大数据时代，“样本=全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。
在我看来，这种观点非常错误。首先，大数据告知信息但不解释信息。打个比方说，大数据是“原油”而不是“汽油”，不能被直接拿来使用。就像股票市场，即使把所有的数据都公布出来，不懂的人依然不知道数据代表的信息。大数据时代，统计学依然是数据分析的灵魂。正如加州大学伯克利分校迈克尔·乔丹教授指出的，“没有系统的数据科学作为指导的大数据研究，就如同不利用工程科学的知识来建造桥梁，很多桥梁可能会坍塌，并带来严重的后果。”
其次，全数据的概念本身很难经得起推敲。全数据，顾名思义就是全部数据。这在某些特定的场合对于某些特定的问题确实可能实现。比如，要比较清华、北大两校同学数学能力整体上哪个更强，可以收集到两校同学高考时的数学成绩作为研究的数据对象。从某种意义上说，这是全数据。但是，并不是说我们有了这个全数据就能很好地回答问题。
一方面，这个数据虽然是全数据，但仍然具有不确定性。入校时的数学成绩并不一定完全代表学生的数学能力。假如让所有同学重新参加一次高考，几乎每个同学都会有一个新的成绩。分别用这两组全数据去做分析，结论就可能发生变化。另一方面，事物在不断地发展和变化，同学入校时的成绩并不能够代表现在的能力。全体同学的高考成绩数据，仅对于那次考试而言是全数据。“全”是有边界的，超出了边界就不再是全知全能了。事物的发展充满了不确定性，而统计学，既研究如何从数据中把信息和规律提取出来，找出最优化的方案；也研究如何把数据当中的不确定性量化出来。
所以说，在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。
版权说明：感谢每一位作者的辛苦付出与创作，如转载涉及版权等问题，请发送消息至公众微信号后台与我们联系，我们将在第一时间进行处理，非常感谢！
福元运通在中国融资中介服务行业率先采取直营与授权特许经营相结合的运营模式，得到了市场的广泛验证，并被公认为行之有效的商业运营模式。不断发展壮大的福元运通，拥有数百家各级加盟机构覆盖中国20余个省、市、自治区，为众多的创业和拓业者进行无微不至的服务，并凭借企业实力、规模和创新的市场营销思路，成为中国融资中介服务行业的先导者。
历经十一年发展的福元运通，凭借雄厚的企业实力、强大的品牌影响力和市场号召力得到了市场和众多志同道合合作伙伴的肯定，成就了遍布全国各地、引领地方融资中介服务发展的众多“大鳄”。在国家“新常态”的经济形势下，福元运通更是扮演着壮大区域经济、推进地方经济发展的重要角色，诚邀您莅临福元运通各营业机构切身体验我们的服务与模式，一起共驭中国融资中介服务的财富航母。
点击 [阅读原文]
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。