摘要: 为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案？因为他们在不懂R和Hadoop的特征应用场景的情况下，恰好抓到了一根免费，开源的稻草。R：R的应用场景不在于无与伦比的统计学习能力，而在于结构化数据下 ...
为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案？
因为他们在不懂R和Hadoop的特征应用场景的情况下，恰好抓到了一根免费，开源的稻草。
R的应用场景不在于无与伦比的统计学习能力，而在于结构化数据下无与伦比的单位代码产出量。神经网络，决策树等基于结构化数据的算法一行代码搞定，预测又只是一行代码。这样，商业数据库（如包括Oracle，Netezza，Teradata，SAP HANA等）提供了R接口供统计分析人员进行高效实施。 同样的，SAS和IBM SPSS也做到了一部分高效实施能力，他们没有的是R独有的庞大cran packages群。但相似的一点是，R的package群也把它的用户惯坏了，惯坏到这些人只是觉得这是一个SAS或者SPSS的免费版，而不是去通过代码学习如何做机器学习哪怕一点点核心原理。你要做的，就是高效的最新结构化数据算法的实施。
最重要的是，从Hadoop上的数据加载到这些库，不仅保证了数据本身的正确性和结构化，也已经保证了数据模型的第二、第三范式化（CAErwin的第一课），想做任何一个分析，你手边的数据库简单的join就形成了你需要的分析宽表。想想SQL里sum over的设计含义：为什么它要制造数据的冗余？那一定是为了BI或者分析存在的。
Hadoop的应用场景不在于给统计分析软件提供强力的支持，而只是提供了一个分布式数据的泛用免费框架，基于键值对（key value pair）高效的对原始非结构化数据进行存储。
传统方式下目测可以做到对连续型数值、离散型数值、字符串、大型字符串BLOB、地理信息（二维点，多边形）的存储，Hadoop相当于直接把很多功能扩展：比如Hive作为一个基本工具，直接提供了更广泛的数据类型存储方案：数组(array)，结构体(struct)，键值对(map)等。
业务场景：我存储一篇文章不再需要一坨文字灌进去，先做NLP解析，然后形成 (词,词性)的元组，再组成长数组(Array)即可方便的存储、分析，以及利用内置UDF、自写UDF对复杂结构行转列，提取信息。（当然，将NLP解析本身整合在UDF甚至算法中都是可行的，如PySpark）
如果你至今觉得非结构化数据，键值对是一种卖弄概念，我就换一个至简的说法：一个只有两列的数据表。两列的mn*2和多列m*n数据表是可以在一定加工代价下互转的。这种数据结构被大量应用于Java，C++，Python甚至JavaScript中，当你看见类似Hashmap，Hashtable，dict，map等字眼，那就是这货没跑了：经过设计，用于存储的键(key)被散列后决定了它能够被均匀地分布式存储，值(value)是键的跟班，随着键被存储。
对于非结构化数据而言，元数据和数据不像方表，极其容易抽象出来（无非就是列名和方表的内容）。初看一个半结构化的Json/XML，元数据出现在键(key)中，数据出现在值(value)中，容易理解。但在解析其他类型数据，(如网络日志Url)，键里的所谓元数据才是要分析的对象(一个用户反复的使用price=xxx做查询条件，说明价格敏感，有可能xxx取了好多值甚至所有可能值，key却很少，可能只有price和brand；此时用户行为模式出现在key里了。)
结构化和非结构化数据库结合的R+Hadoop看起来很美，实则困难重重。我的看法是，任何一家在数据分析领域（文本挖掘暂时除外，理由在业务场景里描述过）决定以一个稳健的态度涉足的企业，都无一例外的基于数据强一致性的考虑，选择传统的结构化数据库作为后续结构化分析的依托—— 哪怕他们是收费的。
如果习惯代码开发，Hadoop+python自己做初步的数据处理，而后使用基于java的Mahout是一个很自然的选择：其提供的矩阵计算（SVD），迭代式聚类算法(如Kmeans)，基于图的迭代模型（一个例子是PageRank算法，值中存的也是Key），以及集成决策树等模型，在分布式场景下是顺理成章完成的，而R则会像一个跟班，很难找到它的应用场景。一样具有较高编码效率的Python可以更加灵活、优美（缩进的意义上）的继承mrjob类完成相应功能，在数据尝试性探索这一步，matplotlib产出报告恐怕是不如R+knitr+ggplot2更能取悦老板，但一旦需要阶段性的测试，Python这种胶水语言或者一步到位的使用Java开发显得更接地气，更容易落地。
（关于落地性，再小小吐槽一下R在Windows和Linux两个平台下能够使用的包范围是不同的，尤其是使用Rcpp或者并行包的时候。Python和Java则不常见到这种问题）
R+Hadoop的幻觉：
不管什么和Hadoop结合，都喜欢以word count这种典型的键值对开始。事实上R可以做这件事，但是觉得R做的无与伦比，就有点进入误区。还是那句R的美在于结构化数据下无与伦比的单位代码产出量。一旦你发现你作为专注于数据的分析师，同时也是一个并不骨灰的代码开发者，开始用R操作列表和数据结构，开始用R重写Mapper和Reducer，你就会产生一个疑问：
为嘛不学Java、Python？这种分析“不传统”，就算你不想学吧，为嘛不找懂它们的人来干？
Python基于键值对存储，也具有相当高的单位代码产出量，也有很多科学计算包。从这个意义上你可以做出一个白箱，单机缩水版的mahout，而且适合处理有增量算法的大数据学习（看看NumPy,SciPy,）。一样免费。
数据挖掘的幻觉：
数据挖掘是什么，很难吗？
广义的数据挖掘，包括数据分析和机器学习，只说最核心的数学概念的话，估计就几句话；恰好R的简洁性也是能用几句话做完这几句话的：
0 数据清洗，标准化。和1-4，理解真实世界是相辅相成的
1 最先学的数学技巧是空间分解：LL’，PCA，SVD，一般回归以及L2/L0惩罚变种；从信息论角度讲信息流压缩（有名如LZ及变种LZO）；SVM用到的RBF也算基提取技巧。
2 再学最优化算法：L1惩罚回归，SVM（使用的Newton-Raphson/Gauss-Newton/Levenberg-Marquadt（还是1的内容！）；MonteCarlo Markov Chain
3 数据结构：决策树（列表类），词频统计（键值对或者字典类），FP-growth（一个树的加强版）。学到这，所谓“贝叶斯”根本就不能叫算法，只能叫一个无处不在的指导思想。
4 模型集成：Adaboost，神经网络，bootstrap。集成时，权重技巧和惩罚技巧我的理解是不可割裂。但这个思想对方法，对模型参数都能集成，大杂烩。1个超级精妙的模型不如200个良好理解了问题性质的土鳖模型更实用。
任何一个听起来很装逼的算法，逃不过被解析成这4类方法组合的命运。参数调优这种不提纲挈领的问题，确实需要结合时间成本人力成本看（研究者，学生，码农的成本和投入量完全不一样）
可以看到，大数据分析的瓶颈在哪？
第0步，和曾经的大Boss讨论过，传统行业数据仓库实施起码还能打10年，而”实体-关系”概念和”键-值”概念这两种抽象起码还能打30年，数据的组织，过滤，元数据维护都是数据产生价值的必经之路，这方面的工作很枯燥但是很基础，大数据和传统数据都需要；
第1步是最基本最重要的分析手段，也最容易在大数据语境下导致单机无法分析的亿阶稀疏大矩阵产生：例1，用户User对商品SKU的购买记录；例2，在特定的经纬度，特定的时间，特定的用户发生了动作；这两个例子是典型的“查询简单分析难，汇总还不如不汇总”的情况，必须要有分布式稀疏矩阵处理技术；
第2步，序贯MCMC的串行性可以通过并行集成方法模拟，但是收敛性还仍然较低，需要暴力并行堆FLOPS；对应的，因为SVM/Lasso都有增量算法、分布式算法方案，核心思想在于“世界的真实，模型的本质，都是稀疏的”，锁少量资源，分布式地更新模型系数或者是梯度，这些算法在理论上得到突破后，往往依赖分析型数据库或者大数据平台灵活的并发调度，灵活的行列混合存储模式，这一点是单机、小集群、传统数据库难以企及的；
第3、4步，这里虽然举了很简单的例子，但这些是在数学模型和数据模型上是最没有开发压力的，需要关心的只是资深程序员的功底了。举例说明，文本挖掘（NLP）统计完词频你还是得会空间里做PCA（或者其他形式的大矩阵加工）；如果不然，只引入HMM模型和基础字典树的话，学习成本就只有学习贝叶斯理论了，并且仍然可以高效并行的解决NLP问题，有兴趣的可以参考Viterbi算法和CRF算法。
大数据的幻觉：存储和计算的冲突
大数据处理，多大算大？像我说的，在3,4步出来的数据，原始数据很大，加工汇总完了很小，或者处理起来是高度独立的。分布式存储不影响分析，说是大数据，其实和小数据处理没差别。
需要随时交换资源的聚类，回归，SVD，PCA，QR，LU等关系到矩阵分解的计算甚至是高效访问，更进一步还有热数据在内存上而不是物理存储上的多次迭代，这才是大数据真正的挑战。
那些有监督的分类树，把数据集切成1000份并且有冗余的给500台机器每台3-5份数据最后得到集成的分类结果，我很难称其为“大数据计算技术”，它的本质和挖矿机每秒能做无数个高度同质化的hash计算一样，不需要资源交换，不需要大量通信，它只是“小数据+独立运算后直接能够整合结果”的范围内打转。
数据在物理存储、内存、甚至显存的原地迭代会带来数据重分布；在传统数仓领域数据，重分布其实是对未来效率提高预期的妥协，且里面含有比较多对传统业务稳定数据架构的理解。
大数据时代明显不存在什么数据仓库ER模型稳定性，不知道大家有没有这种体验：一个新需求，一个全新的不着边际的研究性问题的场景下，就能建个新库来进行探索与数据加工整理，数据挖掘。各自为政，实验容易，落地与整合困难。—— 这个情况下如果要频繁走物理存储的话，基于key的重新分布会让数据像煮沸的一锅粥大量占用网络与IO写入带宽，与传统数据库性能的巨大鸿沟是无法回避的问题。因此在这个场景下，Spark、Storm、GPU计算火起来，如Scala、Clojure、Python等含有FP概念的语言走得越来越靠近开发工程师的视线，较高级的封装工具如图模型计算的GraphSQL等组件也浮出水面。而且说句实话，Map（映射）和Reduce（规约）在这些语言中，已经是老的掉了好多年牙的概念了。
（FP：Functional Programming我反对翻译成函数式编程，这明明是泛函编程）
大数据概念引入这件事儿是大炮打蚊子——内存内的分析和数据探索，展现（单节点）：
*从数据记录条数讲：
百万级，R的上限；
千万级-亿级，SAS的上限；
千万级，Python的上限；
*我的使用经验，从数据占用内存的效率讲：加载400M数据会使得
Python（Numpy列存）占用内存500M
R（我谨慎猜测是行存列存和二维表三样都存一份）加载占内存2G
SAS（行存）占用600M，经过表级压缩（依然是行存）150M
*后续的原始处理
尤其是字符串操作这种数据清洗，R几乎不能做，精通shell及regexp的人又做的太容易。
若想用R，这就需要你输入到R的数据几乎就能直接开始跑分析了。若不信邪，我推荐你用readLines加上strsplit来操作读入R的文件，看看他数据清洗的效率和read.delim，和SAS proc import 以及 Python的with as语法相差多少。
*展现方案：
只要数据量低于刚才提到的限度，R又提供了最好的展现方案，因为“展现方案是专用而非泛用”的：
a. Hadley最著名的R包之一ggplot2未来会引入SVG等可交互元素。一个具有d3.js可视化特性的绘图包还不让你震惊吗？
b. 百度echarts团队项目被taiyun包装成recharts放在了github上
c. 已经加入RStudio的R统计达人Yihui Xie的作品knitr，能够使用markdown语法动态将数据挖掘结果，图片，视频生成打包放进html或者pdf文档。
说说对手：
a. R要比Python现有的可视化包（以matplotlib和pygame为主）更友好，更易于操作。
b. 虽然让从来没接触过前端的人沉浸在用Chrome即可调试的JavaScript里面不太科学，但我爱不释手，而且其核心的展现方式确实未来会加入R。
c. Java风格的Processing，无缝调用java库，封装大量java图形函数、视频相关API、鼠标响应API，可以导出java applet或port成js代码；搞大数据的人必然熟悉java开发，可以几乎0成本又高效快速的使用它。
这几种工具确实各有所长，我个人无法取舍，但平心而论，R是学习门槛、编码效率和产出效果同时最出色的（个人经历原因无法对SAS VA，Tableau，Flex或更一般的BI展现工具置评，其受众因为软件成本，落地性不够等原因，我缺乏使用它们的经验，它们也缺乏对我的吸引力）
归纳下我的理解，R的产出报告类似html+javascript+CSS一样，是适合轻量分析，轻量展现的。
大数据干这件事儿是正道——非结构化大数据批量或者迭代处理：
你的算法已经走到了“万事俱备，只差跑全量” 这样一个对手中的数据很了解的地步了。Wiki 对Revolution Analytics的介绍讲：R didn’t natively handle datasets larger than main memory，这么灵活小巧的工具做个抽样数据分析明明是很好的。
非结构化大数据应用的场景只能是：
-你很懂数据分布的细节（也许是项目经验，也许是R上已经做过抽样探索）
-问题适合的算法你了然于胸；增量算法存在；暴力并行计算（矩阵计算，图迭代）没问题
-你觉得把类似Mahout计算的步骤经过代码包装交付给R来做没问题
-你完全不care交互式探索
这是你需要的R应用场景么？或者换一种说法，这种应用场景R有什么优势？调用编译好的cpp库，fortran库是R发挥优势的地方吗？要知道算法效率排名上R&java&C++。算法月内要上线，自己看着办。
说下前鄙team（一个不是专业做数据挖掘的数据部门）的经验：
讲了半天R+Hadoop，不上Mahout，随便搞搞RSnow，准备买SAS。
因为我会SAS（少量用Macro，没用过矩阵，因为没必要）和R（没有学习成本），Python的并行包pp使用中，考虑mahout。
更新：当大数据平台用户不满足于存储，简单加工以及成型算法实施，也开始关注最小查询、交互式探索效率了，诸如Spark的内存解决方案将会更合适。
现team是一个同事至少是硕士（统计/金融/计算机），专做金融行业数据挖掘的小团队。能力和业务场景可以供参考。
* SAS能力覆盖面95%（具备核心价值的数据在服务器上能够处理的量很少超过上亿，主推SAS）
* Python和R覆盖面都在70%+
* Hadoop/大数据概念淡：客户有足够的Teradata、Oracle、SAS服务器
* Hive/Spark：Hive做辅助、灵活仓储，PySpark作为一个可以预期、稳定的数据挖掘平台的接点
顺便也给数学系、统计系的数据分析师，以及他们的领导们提醒一句：如果员工A有员工B没有的代码开发能力，R又完全替员工B把数学的事情做完了，形成了依赖，那员工B存在的意义是什么？强调数学理论这么一点点优势也都不复存在了。
机器学习算法在不同的阶段适合使用不同的工具，研究和使用接不上也就算了，千万别连工具适合的环境都不懂，作为互联网从业者，这就太盲从了。
精英的研究者是自己做开发的——这话也可以这么说，精英的开发者们自己做研究。每一个模型都不完美，何况新问题涌现的越来越快，现存的模型很可能不满足你的分析需要。所以才要一边扎实理论，以最少的尝试嗅到最适合问题的算法，一边以开放的心态接纳和理解新技术的应用场景，深入发展数据挖掘研究，从代码优化改造（山寨）走向技术原创。
一个不好的消息是，不管是从职位Post、搜索还是行业生命周期研究看，大数据这几个字正在迅速退掉金色，其名字的价值泡沫正在逐步被挤出。抓住技术的重点与技术适合的场景，对个人以及对行业都是磨刀不误砍柴工的事情。
参考内容：
Revolution Analytics
Apache Mahout: Scalable machine learning and data mining
Continuum Analytics
《Program Clojure》
《R ggplot2：数据分析与图形艺术》
《Machine Learning in Action》
本文已收录于以下专栏：
相关文章推荐
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。
“90％的世界数据在过...
Hadoop2.6整合hbase1.1.0分布式环境搭建
         三台机器Linux机器，这里使用CentOS-6.5-x86_64：
    &#160...
程序人生 | 4个方法快速打造你的阅读清单作者：foruok
下面提供四种方法，无论你是否经常读书，都可以使用它们快速构建起你的阅读清单：
从问题到图书
Hadoop的安装有三种运行模式：
单机模式（Local (Standalone) Mode）：Hadoop的默认模式，0配置。Hadoop运行在一个Java进程中，使用本地文件系统，不使用HD...
Hadoop的安装有三种运行模式：
单机模式（Local (Standalone) Mode）：Hadoop的默认模式，0配置。Hadoop运行在一个Java进程中，使用本地文件系统，不使用HD...
R Hadoop的环境搭建，安装，调试和使用
调研Hadoop颇久，就是想知道hadoop是什么？hadoop能做什么？怎么用hadoop？最主要是这三块，至于投入和风险也会随之出来（浓缩了我几十页的调研方案啊！！！）
hive提供了复合数据类型：
Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域a
他的最新文章
讲师：汪剑
讲师：刘道宽
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)为什么很多公司的大数据相关业务都基于 Hadoop 方案？ - 知乎1369被浏览115324分享邀请回答20621 条评论分享收藏感谢收起754 条评论分享收藏感谢收起查看更多回答3 个回答被折叠（）Hadoop大数据平台-建设要求及应答方案_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
Hadoop大数据平台-建设要求及应答方案
IT技术顾问|
总评分0.0|
浏览量208177
用知识赚钱
&&大数据分析,数据库,Bigdata,大数据行业分析,大数据,大数据咨询,人工智能,深度学习,Hadoop
试读已结束，如果需要继续阅读或下载，敬请购买
定制HR最喜欢的简历
你可能喜欢
您可以上传图片描述问题
联系电话：
请填写真实有效的信息，以便工作人员联系您，我们为您严格保密。 上传我的文档
 下载
 收藏
一、本账号部分资料为作者原创，享有版权！
二、本账号空间所传资料一部分来自网络搜集和整理，只可用于大家技术学习交流使用，版权为原作者所有。
 下载此文档
正在努力加载中...
hadoop大数据平台应用案例详细分析
下载积分：1500
内容提示：hadoop大数据平台应用案例详细分析
文档格式：PDF|
浏览次数：42|
上传日期： 06:45:40|
文档星级：
全文阅读已结束，如果下载本文需要使用
 1500 积分
下载此文档
该用户还上传了这些文档
hadoop大数据平台应用案例详细分析
关注微信公众号《R与Hadoop大数据分析实战》一1.4　Hadoop的安装
本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第1章，第1.4节，作者 （印）Vignesh Prajapati，更多章节内容可以访问云栖社区“华章计算机”公众号查看
1.4　Hadoop的安装
现在假定你已经了解了R语言，知道它是什么，如何安装它，它的主要特点是什么，以及为什么要使用它。现在，我们需要知道R的局限性（这样能更好地引入对Hadoop的介绍）。在处理数据前，R需要将数据加载到随机存取存储器（RAM）。因此，数据应该小于现有机器内存。对于数据比机器内存还要大的，我们将其看做大数据（由于大数据还有许多其他定义，这只适用于我们现在所说的例子）。
为了避免这类大数据问题，我们需要扩展硬件配置，但这只是一个临时解决方案。为了解决这一问题，我们需要使用一个Hadoop集群，能够存储大数据并在大型计算机集群进行并行计算。 Hadoop是最流行的解决方案。 Hadoop是一个开源的Java框架，它是Apache软件基金会操作下的顶级项目。 Hadoop的灵感源于Google文件系统和MapReduce，这两项技术主要用于进行分布式大数据处理。
Hadoop主要支持Linux操作系统。若要在Windows上运行它，我们需要使用VMware在Windows操作系统中加载Ubuntu。实际上使用和安装Hadoop的方法有很多种，但在这里我们考虑支持R语言的最佳方式。在我们整合R和Hadoop之前，先来理解什么是Hadoop。
机器学习包含了所有数据建模技术，深入了解这些技术请访问：
Michael Noll的Hadoop安装指导博客：
1.4.1　不同的Hadoop模式
Hadoop使用方式有以下三种模式：
the Standalone mode（单机版模式）：在此模式下，不需要启动任何Hadoop后台程序。相反，只需要打开~/Hadoop-directory/bin/hadoop以单一Java进程方式执行Hadoop程序。建议此模式用于测试目的。这是默认模式，无须进行任何其他配置。所有的后台程序，如NameNode、DataNode、JobTracker和TaskTracker都以单一Java进程运行。
the pseudo mode（虚拟模式）：在此模式下，需要在所有节点上配置Hadoop。每个Hadoop的组件或守护进程使用一个单独的JAVA虚拟机（JVM），类似于在一个主机上运行最小集群。
the full distributed mode（全分布模式）：在此模式下，Hadoop将分布在多台机器中。专用主机根据每个Hadoop节点进行配置。因此，不同的JVM进程对所有的守护进程开放。
1.4.2　Hadoop的安装步骤
Hadoop的安装有几种可行方式，我们将选择与R整合更好的方式。我们将选择Ubuntu操作系统，因为它易于安装和操作。
1. 在Linux、Ubuntu面板（单节点以及多节点集群）上安装Hadoop。
2. 在Ubuntu上安装Cloudera Hadoop。
在Linux、Ubuntu面板上安装Hadoop（单节点集群）
要在Ubuntu操作系统安装Hadoop的虚拟模式，需要满足以下先决条件：
使用Sun Java 6
成为专用的Hadoop系统用户
以上提供的Hadoop的安装可使用Hadoop MRv1实现。
按照以下步骤安装Hadoop。
1. 从Apache软件基金会下载最新的Hadoop。在这里，我们采用Apache Hadoop 1.0.3，尽管最新的版本是1.1.x.
添加$JAVA_HOME和$HADOOP_HOME变量到Hadoop系统用户的.bashrc文件。更新后的.bashrc文件如下：
用conf / * -site.xml命令来更新Hadoop的配置文件。
最后，3个文件如下。
conf/core-site.xml：
conf/mapred-site.xml：
conf/hdfs-site.xml：
完成这些配置文件的编辑后，需要在Hadoop的集群或节点上设置分布式文件系统。
使用下面的命令行通过NameNode格式化Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）：
通过使用以下命令行启动单节点群集：
在Linux、Ubuntu面板上安装Hadoop（多节点集群）
我们已经知道如何在单节点集群上安装Hadoop。现在看看如何在一个多节点集群上安装Hadoop（全分布式模式）。
为此，我们需要若干个已经配置好Hadoop单节点集群的节点。为了在多节点上安装Hadoop，我们需要一台已经配置好上一节描述过的单节点Hadoop集群的机器。
当安装好了这个单节点Hadoop集群后，我们需要进行下述步骤：
1. 在网络状态里，需要使用两个节点来创建一个全分布Hadoop模式。为了让节点之间相互通信，节点所在的软件和硬件配置必须在一个网络中。
2. 在这两个节点中，一个节点被设置成主节点，另一个被设置为从节点。为了进行Hadoop操作，从节点需要连接主节点。我们将主节点设置为192.168.0.1，从节点设置为192.168.0.2。
3. 在两个节点中升级/etc/hosts目录。这个目录将会成为192.168.0.1主节点和192.168.0.2从节点的镜像。
可以像进行过的单节点集群安装一样进行Secure Shell（SSH）的安装。详细情况可以访问
4. 升级conf/*-site.xml：必须改变所有节点的如下配置文件。
conf/core-site.xml和conf/mapred-site.xml：在单节点集群安装中，已经升级过这些文件。所以，只需在value标签中将localhost改变为master。
conf/hdfs-site.xml：在单节点集群安装中，将dfs.replication的值设成1，现在更新这个值为2。
5. 在格式化HDFS阶段，需要在启动多节点集群前，用以下命令（在主节点）格式化HDFS：
现在，我们已经完成安装一个多节点集群的所有步骤。需要进行以下步骤来启动这个Hadoop集群：
1. 启动HDFS进程：
启动MapReduce进程：
通常如下命令启动所有进程：
停止所有进程：
这些安装步骤是受Michael Noll的博客（ Hadoop的大规模计算框架的技术指导。
现在Hadoop集群已经在机器上创建好了。如果想要使用扩展的Hadoop组件在单节点或者多节点上安装相同的Hadoop集群，可以尝试使用Cloudera工具。
在Ubuntu上安装Cloudera Hadoop
Cloudera Hadoop（CDH）是Cloudera的开源分布式架构，其致力于应用Hadoop技术进行企业级开发。Cloudera也是Apache软件基金会的捐助者。CDH有两个可用的版本：CDH3和CDH4。为了安装其中任何一个版本，都必须使用10.04 LTS版或者12.04 LTS版的Ubuntu（当然，也可以使用CentOS、Debian和Red Hat操作系统）。如果在一个集群上安装Hadoop，可以使用Cloudera管理器简化它的安装过程，这个管理器提供基于Hadoop的GUI界面以及覆盖整个集群的Cloudera组件安装。对于大型集群来说这个工具十分值得推荐。
我们需要满足如下先决条件。
具备以下特征的操作系统：
64位的10.04 LTS版或者12.04 LTS版Ubuntu
Red Hat企业级Linux 5或者Linux 6
CentOS 5或6
Oracle企业级Linux 5
SUSE Linux企业级服务器11（SP1或者lasso）
Debian 6.0
安装步骤如下。
1. 下载并运行Cloudera管理器：为了初始化Cloudera管理器的安装过程，需要首先从Cloudera下载版块下载cloudera-manager-installer.bin文件。之后，在集群上保存它，这样所有的节点可以读取这个文件。给用户执行cloudera-manager-installer.bin的权限。运行下面的命令来启动安装：
阅读Cloudera管理器的Readme文件并点击Next。
启动Cloudera管理器的管理员控制台：这个控制台允许你使用Cloudera管理器进行安装、管理以及监视集群上的Hadoop。在从Cloudera服务提供商得到许可后，需要在浏览器地址栏里输入http://localhost：7180。你同样可以使用以下浏览器：
Firefox 11或者更高版本
Internet Explorer
使用默认的用户名和密码admin登录Cloudera管理控制台。以后你可以根据自己的选择改变它。
通过浏览器使用Cloudera管理进行CDH3的自动化安装和配置：这一步会将所需的大部分Cloudera Hadoop安装包从Cloudera安装到你的机器中。步骤如下：
1）如果你已经选择了一个完整的软件版本，安装并验证你的Cloudera管理密钥许可文件。
2）为你的CDH集群装置指定主机名或IP地址范围。
3）使用SSH连接每台主机。
4）在每台群集主机上安装Java开发工具包（JDK）（如果尚未安装）、Cloudera管理代理和CDH3或CDH4。
5）在每个节点上配置Hadoop并启动Hadoop服务。
在运行该向导并使用Cloudera管理器后，应该尽快更改默认的管理员密码。为了更改管理员密码，需遵循这些步骤：
1）单击齿轮符号图标以显示管理页。
2）打开Password标签。
3）输入新密码两次，然后点击Update。
测试Cloudera Hadoop的安装：可以在群集上通过登录Cloudera管理控制台并点击Services标签来检查Cloudera管理的安装。你应该看到如下图所示的界面。
可以点击每个服务查看更详细的信息。例如，点击hdfs1链接，会看到类似下面的截图。
为了避免这些安装步骤，可以使用预先配置的带有Amazon Elastic MapReduce和MapReduce实例的Hadoop。如果在Windows上使用Hadoop，可以通过Hortonworks尝试HDP工具。这是百分百的开源产品，是企业级分布的Hadoop。可以在
华章计算机