您的位置： &
大数据处理模式——系统结构,方法以及发展趋势
优质期刊推荐大数据的处理流程包括了哪些环节_百度知道
大数据的处理流程包括了哪些环节
我有更好的答案
有足够多的数据首先是大数据的收集了，开始数据的分析和处理，得住最有价值的数据，能达到转换直接产生效益的，才能进行下一步的工作，这是至关重要的。然后就是大数据入库了
采纳率：69%
为您推荐：
其他类似问题
您可能关注的内容
数据 流程 环节的相关知识
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。大数据处理之道_百度百科
清除历史记录关闭
声明：百科词条人人可编辑，词条创建和修改均免费，绝不存在官方及代理商付费代编，请勿上当受骗。
大数据处理之道
本书覆盖了当前主流的大数据处理领域的热门技术，包括Hadoop, Spark, Storm, Dremel/Drill等,详细的分析了各种技术的应用场景和优缺点。同时，本书阐述了大数据下的日志分析系统，重点讲解了ELK日志处理方案。最后分析了大数据处理技术的发展趋势。本书以幽默大话的表述风格，使读者容易理解，轻松掌握。重点从各个技术的起源、设计思想、构架方面阐述，帮助读者能从根源上悟出大数据处理之道。本书适合大数据开发、大数据测试人员，以及其他软件开发或者管理人员和计算爱好者阅读。
大数据处理之道前言
近年来，“大数据”已然成为IT界如火如荼的词，与“云计算” 并驾齐驱，成为带动IT行业发展的两架高速列车。尤其在物联网快速发展的时代，数据已经被称之为新的资源，或者“金子”，支撑物联网发展的基石。
那么如何把“死”的数据，变成真正有效的“资源”，最后再变成活生生的“金子”，便成为近年来IT界人士思考的问题。所以，一时之间，各种大数据处理技术如井喷一般涌现出来。Hadoop, Spark, Storm, Dremel/Drill等大数据解决方案争先恐后的展现出来，需要说明的是，这里所有的方案不是一种技术，而是数种，甚至数十种技术的组合，就拿Hadoop来说，Hadoop只是带头大哥，后面的关键的小弟还有：MapReduce, HDFS, Hive, Hbase, Pig, ZooKeeper等等，大有“大仙过海，各显神通”的气势和场面。
第一部分，本书横向总结性阐述了各种大数据处理技术，重点从缘起缘落、设计思想、构架原理等角度剖析了各种技术，分析了各个技术的优缺点和适用场景。本书并不涉及软件的安装等，因为如何安装和使用，在网络上一搜一大堆，着实没有必要浪费读者的时间和金钱。在这部分中，第一篇讲述了Hadoop技术阵营，第二篇，讲述了Spark新起之秀，第三篇讲述了其他大数据处理技术，如Storm, Dremel/Drill等。在第二部分中，本书阐述了大数据场景下的日志分析技术。在大数据时代，日志分析方案也呈现出了遍地开花的景象。如果将大数据处理系统比作一个可能得病的人，日志分析就是负责看病的医生，要想让大数据处理健康平稳，日志分析和监控非常重要。本书重点阐述了日志处理技术中的最如日中天的方案：ELK。最后部分展望了大数据处理技术的发展趋势，怎奈大数据处理技术发展太快，数据量也将会越来越大，技术的革新也将在所难免。
作为大数据研发人员，时刻保持学习新技术，方能立于技术
大数据处理之道作者简介
何金池 IBM高级软件工程师，主要从事高性能计算和大数据领域研发工作，熟悉目前大数据处理领域的各项热门技术，擅长于大数据环境下的日志分析和处理，具有多年的一线软件研发测试经验。
大数据处理之道目录
　　0“疯狂”的大数据 1　　0.1大数据时代 1　　0.2数据就是“金库” 3　　0.3让大数据“活”起来 4　　第1篇Hadoop军营　　1 Hadoop一石激起千层浪 7　　1.1Hadoop诞生——不仅仅是玩具 7　　1.2Hadoop发展——各路英雄集结 8　　1.3Hadoop和它的小伙伴们 10　　1.4Hadoop应用场景 12　　1.5小结 13　　2 MapReduce奠定基石 14　　2.1MapReduce设计思想 14　　2.2MapReduce运行机制 19　　2.2.1MapReduce的组成 19　　2.2.2MapReduce作业运行流程 20　　2.2.3JobTracker解剖 26　　2.2.4TaskTracker解剖 34　　2.2.5失败场景分析 42　　2.3MapReduce实例分析 43　　2.3.1运行WordCount程序 44　　2.3.2WordCount源码分析 45　　2.4小结 48　　3 分布式文件系统 49　　3.1群雄并起的DFS 49　　3.2HDFS文件系统 51　　3.2.1HDFS 设计与架构 52　　3.2.2HDFS 操作与API 56　　3.2.3HDFS的优点及适用场景 60　　3.2.4HDFS的缺点及改进策略 61　　3.3小结 62　　4 Hadoop体系的“四剑客” 63　　4.1数据仓库工具Hive 63　　4.1.1Hive缘起何处 63　　4.1.2Hive和数据库的区别 65　　4.1.3Hive设计思想与架构 66　　4.1.4适用场景 74　　4.2大数据仓库HBase 74　　4.2.1HBase因何而生 74　　4.2.2HBase的设计思想和架构 77　　4.2.3HBase优化技巧 84　　4.2.4HBase和Hive的区别 86　　4.3Pig编程语言 87　　4.3.1Pig的缘由 87　　4.3.2Pig的基本架构 88　　4.3.3Pig与Hive的对比 90　　4.3.4Pig的执行模式 90　　4.3.5Pig Latin语言及其应用 91　　4.4协管员ZooKeeper 96　　4.4.1ZooKeeper是什么 96　　4.4.2ZooKeeper的作用 97　　4.4.3ZooKeeper的架构 98　　4.4.4ZooKeeper的数据模型 100　　4.4.5ZooKeeper的常用接口及操作 102　　4.4.6ZooKeeper的应用场景分析 105　　4.5小结 108　　5 Hadoop资源管理与调度 110　　5.1Hadoop调度机制 110　　5.1.1FIFO 111　　5.1.2计算能力调度器 111　　5.1.3公平调度器 113　　5.2Hadoop YARN资源调度 114　　5.2.1YARN产生的背景 114　　5.2.2Hadoop YARN的架构 116　　5.2.3YARN的运作流程 118　　5.3Apache Mesos资源调度 120　　5.3.1Apache Mesos的起因 120　　5.3.2Apache Mesos的架构 121　　5.3.3基于Mesos的Hadoop 123　　5.4Mesos与YARN对比 127　　5.5小结 128　　6 Hadoop集群管理之道 129　　6.1Hadoop 集群管理与维护 129　　6.1.1Hadoop集群管理 129　　6.1.2Hadoop集群维护 131　　6.2Hadoop 集群调优 132　　6.2.1Linux文件系统调优 132　　6.2.2Hadoop通用参数调整 133　　6.2.3HDFS相关配置 133　　6.2.4MapReduce相关配置 134　　6.2.5Map任务相关配置 136　　6.2.6HBase搭建重要的HDFS参数 137　　6.3Hadoop 集群监控 137　　6.3.1Apache Ambari监控 137　　6.3.2Ganglia监控Hadoop 138　　6.4小结 138　　第2篇Spark星火燎原　　7 Spark宝刀出鞘 141　　7.1Spark的历史渊源 141　　7.1.1Spark的诞生 141　　7.1.2Spark的发展 142　　7.2Spark和Hadoop MapReduce对比 143　　7.3Spark的适用场景 145　　7.4Spark的硬件配置 146　　7.5Spark架构 147　　7.5.1Spark生态架构 147　　7.5.2Spark运行架构 149　　7.6小结 151　　8 Spark核心RDD 153　　8.1RDD简介 153　　8.1.1什么是RDD 153　　8.1.2为什么需要RDD 154　　8.1.3RDD本体的设计 154　　8.1.4RDD与分布式共享内存 155　　8.2RDD的存储级别 155　　8.3RDD依赖与容错 157　　8.3.1RDD依赖关系 157　　8.3.2RDD容错机制 160　　8.4RDD操作与接口 161　　8.4.1RDD Transformation操作与接口 162　　8.4.2RDD Action操作与接口 164　　8.5RDD编程示例 165　　8.6小结 166　　9 Spark运行模式和流程 167　　9.1Spark运行模式 167　　9.1.1Spark的运行模式列表 167　　9.1.2Local模式 168　　9.1.3Standalone模式 169　　9.1.4Spark on Mesos模式 171　　9.1.5Spark on YARN 模式 173　　9.1.6Spark on EGO 模式 175　　9.2Spark作业流程 177　　9.2.1YARN-Client模式的作业流程 178　　9.2.2YARN-Cluster模式的作业流程 179　　9.3小结 181　　10 Shark和Spark SQL 183　　10.1从Shark到Spark SQL 183　　10.1.1Shark的撤退是进攻 183　　10.1.2Spark SQL接力 185　　10.1.3Spark SQL与普通SQL的区别 186　　10.2Spark SQL应用架构 187　　10.3Spark SQL之DataFrame 188　　10.3.1什么是DataFrame 188　　10.3.2DataFrame的创建 188　　10.3.3DataFrame的使用 190　　10.4Spark SQL运行过程分析 190　　10.5小结 192　　11 Spark Streaming流数据处理新贵 193　　11.1Spark Streaming是什么 193　　11.2Spark Streaming的架构 194　　11.3Spark Streaming的操作 195　　11.3.1Spark Streaming的Transformation操作 196　　11.3.2Spark Streaming的Window操作 197　　11.3.3Spark Streaming的Output操作 198　　11.4Spark Streaming性能调优 198　　11.5小结 200　　12 Spark GraphX图计算系统 201　　12.1图计算系统 201　　12.1.1图存储模式 202　　12.1.2图计算模式 203　　12.2Spark GraphX的框架 206　　12.3Spark GraphX的存储模式 207　　12.4Spark GraphX的图运算符 208　　12.5小结 211　　13 Spark Cluster管理 212　　13.1Spark Cluster部署 212　　13.2Spark Cluster管理与监控 213　　13.2.1内存优化机制 213　　13.2.2Spark日志系统 213　　13.3Spark 高可用性 215　　13.4小结 216　　第3篇其他大数据处理技术　　14 专为流数据而生的Storm 218　　14.1Storm起因 218　　14.2Storm的架构与组件 220　　14.3Storm的设计思想 222　　14.4Storm与Spark的区别 224　　14.5Storm的适用场景 225　　14.6Storm的应用 226　　14.7小结 227　　15 Dremel和Drill 228　　15.1Dremel和Drill的历史背景 228　　15.2Dremel的原理与应用 230　　15.3Drill的架构与流程 232　　15.4Dremel和Drill的适用场景与应用 234　　15.5小结 234　　第4篇大数据下的日志分析系统　　16 日志分析解决方案 236　　16.1百花齐放的日志处理技术 236　　16.2日志处理方案ELK 238　　16.2.1ELK的三大金刚 238　　16.2.2ELK的架构 240　　16.2.3ELK的组网形式 242　　16.3Logstash日志收集解析 245　　16.3.1Input Plugins及应用示例 246　　16.3.2Filter Plugins及应用示例 248　　16.3.3Output Plugins及应用示例 249　　16.4ElasticSearch存储与搜索 250　　16.4.1ElasticSearch的主要概念 251　　16.4.2ElasticSearch Rest API 252　　16.5Kibana展示 253　　16.6小结 255　　17 ELK集群部署与应用 256　　17.1ELK集群部署与优化 256　　17.1.1ELK HA集群部署 256　　17.1.2ElasticSearch优化 257　　17.2如何开发自己的插件 259　　17.3ELK在大数据运维系统中的应用 261　　17.4ELK实战应用 262　　17.4.1ELK监控Spark集群 262　　17.4.2ELK监控系统资源状态 263　　17.4.3ELK辅助日志管理和故障排查 263　　17.5小结 264　　第5篇数据分析技术前景展望　　18 大数据处理的思考与展望 266　　18.1大数据时代的思考 266　　18.2大数据处理技术的发展趋势 267　　18.3小结 270
大数据处理之道样章
7.1.1 Spark的诞生
任何一个强大事物的出现都有一个精彩有趣的历史背景，Spark也不例外。Spark最初的思想火花来自于加州大学伯克利分校（UC Berkeley）的一个研究团队。你可能会说，“哇，老外在大数据处理方面着实很有创新力”。但是仅有创新力还是不够的，必须要有创新的动机，才能造就出今天Spark 全球开花的局面。
说到Spark的创新动机，这里有个很滑稽的故事。话说Netfix (一个在线影片租赁公司)为了提高服务质量，更好的为用户推荐适合用户口味的电影，搞了一个Netflix大奖赛，这个大奖赛从2006年10月份开始，Netflix公开了五十万用户，针对两万部电影的大约1亿个匿名影片评级，仅包含了影片名称、评价星级和评级日期，没有任何文本评价的内容，大奖赛目的在于预测Netflix的客户分别喜欢什么影片，要求把预测的准确度提高10%以上，来为用户推荐最适合的影片。最为主要的是大奖赛的奖金为一百万美金！（如果你是富二代，可能会不屑一顾，但是你如果参考诺贝尔奖的奖金数额，这个奖金还是相当优厚的！）。
可谓重赏之下必有勇夫！一时间竟在IT掀起来一层不小的波浪，迎来了无数程序员跃跃欲试，如何处理这“1亿个匿名影片评级”的大数据，摆在了参赛者的面前。 UC Berkeley研究团队中，有名叫Lester Mackey的博士生，一不小心就看到了这个悬赏，马上撸起袖子，也打算试上一把。Lester当时在AMPLab的大数据实验室进行博士研究，有着很好的资源和大数据处理的能力。看到这个需求，Lester马上想到了当时业界已经很流行的Hadoop MapReduce。搞了一段时间，Lester发现很多精力用到了MapReduce的编程模型和低效的执行模式上，而不是花费在如何提高效率上。这样下去，等到把预测的准确度提高百分之十，黄花菜都凉了，100万奖金就会失之交臂！痛彻思悟数天，依然无果，便去找实验室的另一位专门研究分布式系统的哥们Matei Zaharia请教。说起这个Matei，那在当时业界已经小有名气了，他是Hadoop的重要贡献者之一。一听到Lester给他讲这个事情，两人便一拍即合，一起分析了Hadoop MapReduce在此应用上的乏力之处，吸其精华，改其不足，定制化的输出了区区几百行代码，满足了Lester可以高效率的分布式建模的愿望。 这，就是Spark最初的版本！
看到这里，读者可能会想，拿着这么高大上的“宝剑”，去参加Netfix武林大会，必赢无疑吧？但是我要遗憾的告诉你，Lester所在的团队，并没有抱得大奖归。虽然提高效率上和另一团队的方案相差无几，并列第一，可是Lester所在的团队提交晚了20分钟，终和大奖擦肩而过。不过相比今天Spark给大数据处理方面的贡献，区区百万美金，实乃冰山一角。追溯此二人的发展，此后都成为了学术界的杰出人物，Lester成为了斯坦福大学的教授，Matei则成为了麻省理工的教授，也联合创建了DatatBricks公司，此公司正在主导并致力于Spark的高速发展。
大数据处理之道推荐
　　此书从广度上，涵盖了目前几乎所有的大数据处理热门技术，实为大数据行业的入门人员和从业人员的一顿盛宴，推荐！　　--IBM产品经理张帅　　目前大数据处理领域，比较火爆的技术有：Hadoop、Spark和Storm等，到底哪个技术较强？谁会替代谁？此书对这些技术进行了横向对比，分析了各个技术的应用场景。对大数据处理初学者和大数据行业应用人员有很好的指导作用。　　--Yeahmobi产品构架师朱杰　　大数据处理技术日新月异，从最初的Hadoop到Spark,在此同时，为了满足不同的场景，各大IT公司均陆续的提出了不同的大数据处理方案，目前已有数十种大数据处理技术涌现在我们面前。为此，我们只有不断的学习新技术才能跟上时代的步伐。本书对深入了解大数据处理技术有很好的参考意义。　　--华为大数据技术构架师尹青　　十年前，有人曾说过，&21世纪什么最贵？&——&人才&，深以为然。只是在十年后的今天，大数据的价值越来越明显，堪比石油和黄金。为应对海量数据处理带来的巨大挑战,全球计算机精英们开发出众多有针对性的先进技术。本书全面介绍了目前大数据处理领域的热门技术的精髓和适应的场景，实用性很强。　　--中兴高达产品经理，技术总监尹尚国　　本书内容丰富，结构严谨，语言诙谐，为读者精彩呈现了大数据处理处理各大热门技术的设计思想，应用场景和实例，可帮助大数据初学者快速上手，可帮助大数据研发人员扩展知识，是大数据处理行业不可多得的书籍。　　--知名IT领军人物欧立奇
．电子工业出版社官网[引用日期]
何金池．大数据处理之道：电子工业出版社，2016：0-270
清除历史记录关闭【图文】大数据之处理模式-陈康_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
大数据之处理模式-陈康
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢