他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)博客访问： 17666
博文数量： 10
博客积分： 29
博客等级： 民兵
技术积分： 35
注册时间：
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
原文地址： 作者：
目前，hadoop社区有几个不同的分支版本，各个版本之前又相互联系。以下是几个主要版本的一些介绍。
& & 0.20.2是一个stable的版本，他又几个子版本，0.20.203 具有security特性，但是不具有append和raid功能。 0.20-append具有append功能没有security。0.20.205是0.20-append和0.20.203merge，具有append和security，没有raid，symlink等。1.0及之后的版本都是从0.20.205开始的。是稳定版本。
& & 0.21 具有append，raid和symlink功能，激进的特性，没有security特性，不保证稳定。
& & 0.22具有append，raid，security和symlink功能，但是mapreduce没有security，并且没有加入performance得patch。
& & 0.23具有mr2
个人补充一下：因后来研究hdfs-raid，0.21的raid功能较简单，raid算法只有XOR，0.22在0.21基础上打了一些补丁，并实现了RS算法，到0.23上的raid，就已经比较完善了，JIRA上很多好的补丁都打上了，还实现了dist blockfixer的功能
阅读(305) | 评论(1) | 转发(0) |
给主人留下些什么吧！~~
你好，请问哪里可以下到0.23版本的raid包呢
请登录后评论。突破社区版 Hadoop各商业发行版比较-阿里云资讯网
突破社区版 Hadoop各商业发行版比较
发布时间：
更新时间：
来源：网络
上传者：用户
Hadoop的发行版除了社区的Apache hadoop外，cloudera，hortonworks，mapR，EMC，IBM，INTEL，华为等等都提供了自己的商业版本。商业版主要是提供了专业的技术支持，这对一些大型企业尤其重要。每个发行版都有自己的一些特点，本文就各发行版做简单介绍。
2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的商用解决方案，主要是包括支持，咨询服务，培训。2009年hadoop的创始人 Doug Cutting也任职于 Cloudera 公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support。CDH是Cloudera的hadoop发行版，完全开源，比Apache hadoop在兼容性，安全性，性上有增强。Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对hadoop的技术支持。cloudera的标价为每年每个节点4000美元。
2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。公司成立之初吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，这些工程师贡献了hadoop 80%的代码。。雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品，HDP除了常见的项目外还包含了Ambari，开源的安装和管理系统。HCatalog，一个元数据管理系统。
　　HDP的Datasheet中描述的版本特点是：
集成和测试封装 – HDP包括稳定版本的Apache Hadoop的所有关键组件，集成和测试封装。
安装方便– HDP包括一个现代化的，直观的用户界面的安装和配置工具。
管理和监控服务 – HDP包括直观的仪表板，为监测集群和建立警示。
数据集成服务 – HDP包括Talend大数据平台，领先的开源整合工具，连接Hadoop集群，而无需编写Hadoop代码的数据系统集成工具。
元数据服务 – HDP包括的Apache HCatalog，从而简化了Hadoop的应用程序之间和Hadoop和其他数据系统之间的数据共享。
高可用性– HDP与成熟的高可用性解决方案的无缝集成。
定价以集群为基础，每10个节点每年为12500美元。
cloudera和hortonworks均是在不断的提交代码完善Apache hadoop，而2009年成立的MapR公司在Hadoop领域显得有点特立独行，它提供了一款独特的发行版 。Hadoop在性能(在当前Hadoop的设计中，所meta data操作都要通过集中式的Namenode来进行，Namenode有可能是性能的瓶颈;M/R 应用程序需要通过DataNode来访问HDFS, 这就涉及到格外的进程切换和网络传输开销)，可靠性与扩展性(namenode，jobtracker单点问题)，企业级应用上的弱点(比如完全可读写的文件系统，snapshot，mirror等等)各大厂商均知，MapR则认为，Hadoop的这些缺陷来自于其架构设计本身，小修小补不能解决问题。他们选择了一条得多的路： 用新架构重写HDFS，同时在API级别，和目前的Hadoop 发行版保持兼容。这家2009年成立的创业公司，在蛰伏了两年之后，终于一鸣惊人，大放异彩。他们成功的“构建一个HDFS的私有替代品，这个替代品比当前的开源版本快三倍，自带快照功能，而且支持无Namenode单点故障(SPOF)，并且在API上和兼容，所以可以考虑将其作为替代方案。” mapR版本不再需要单独的namenode机器，元数据分散在集群中，也类似数据默认存储三份。也不再需要用NAS来协助namenode做元数据备份，提供了机器使用率。还有个重要的特点的可以使用nfs直接访问hdfs，提供了与旧有应用的兼容性。镜像功能也很适合做数据备份，而且支持跨数据中心的镜像，快照功能对于数据的恢复作用明显。据报道mapR标价也为每年每个节点4000美元。
mapR有免费和商业两个版本，免费版本在功能上有所缩减。
　　EMC的Greenplum HD是基于mapR版本二次开发改造而成，特点同mapR。
IBM在去年5月推出了InfoSphere BigInsights软件。该软件包括Apache Hadoop发行版、面向MapReduce编程的Pig编程语言、针对IBM的DB2数据库的连接件以及IBM BigSheets，后者是一种基于浏览器的、使用电子表格隐喻(spreadsheet-metaphor)的界面，用于探究和分析Hadoop的数据。IBM在平台管理，安全认证，作业调度算法，与DB2及netezza的集成上做了增强。从IBM中国开发中心信息管理总经理朱辉下面这句话就可以看出IBM对于biginsights的定位：BigInsights并没有替代OLAP(Online Analytical Processing)或OLTP(Online Transaction Processing)应用程序，但它可以整合其中，用于“过滤原始数据并合并结果，将结果以结构化数据的形式保存在DBMS或数据仓库中”。
　　传统的硬件厂商，华为，Intel也提供hadoop的版本
Intel 的商业版本，主要是强调其能提供全面的软硬件解决方案设计，针对硬件具有更好的性能优化，以及提供集群管理工具和安装工具简化了 Hadoop 的安装和配置，能够提供项目规划到实施各阶段专业的咨询服务，实际中采购Intel版本貌似动力不足。
华为在硬件上具有天然的优势，在网络，虚拟化，PC机等都有很强的硬件实力。华为的hadoop版本基于自研的Hadoop HA平台，构建NameNode、JobTracker、HiveServer的HA功能，进程故障后系统自动Failover，无需人工干预，这个也是对hadoop的小修补，远不如mapR解决的彻底。华为在hadoop社区中的Contributor和committer也是国内最多的，算是国内技术实力较强的公司。
各发行版大事记
：宣布与EMC合作，EMC GREENPLUM HD 提供hadoop基础版本。
：宣布与rainstor合作，
：宣布与informatica合作
:宣布成为Amazon Elastic MapReduce的计算选项
：成为Google App Engine的计算引擎
HortonWorks
：微软宣布将于从雅虎分拆出来的Hortonworks合作开发，在Apache Hadoop上实现搭建Windows Server以及Windows Azure平台。Hortonworks作为微软的战略合作伙伴将会自己在此领域的专长帮助最大化将Hadoop集成到微软的产品之中。
：Hortonworks，Apache Hadoop项目的一个主要贡献者，将分发Informatica HParser Community Edition。为Hadoop推出Informatica HParser。作为业界首个针对Hadoop环境的数据解析转换解决方案，Informatica HParser利用MapReduce框架的并行性以有效地在Hadoop中把非结构化数据变成一个结构化或半结构化的格式。
在今年3月初的Strate大会上，开源数据集成软件厂商Talend宣布与Hortonworks达成协议，将合作把Talend开源数据集成工具带入Apache
：TeraData就在周二宣布将与Hortonworks合作，并为客户提供产品和服务。
：Hortonworks宣布将与VMware合作并推出一套运行于HDP高可靠性模式的工具。VMware的vSphere可监测Hadoop的NameNode和JobTracker服务。如果服务出现错误时，vSphere可重定向操作实时备份服务，以保持集群的运行。
Cloudera：
日 – 戴尔宣布与Cloudera新的合作伙伴关系
日 – SGI和Cloudera联合宣布，他们的公司已经签署协议，为SGI分发Cloudera的软件预装在SGI Hadoop集群中。
：今年1月发布的甲骨文大数据机(Oracle Big Data Appliance)将甲骨文-Sun分布式计算平台与Cloudera的Apache Hadoop发行版、Cloudera管理器管理控制台、R分析软件的开源发行版以及甲骨文NoSQL数据库结合起来。甲骨文还包括连接件，因而让数据能够在大数据机与甲骨文Exadata或传统的甲骨文数据库部署环境之间来回传送。
：IBM宣布将Cloudera作为Hadoop商用版本的大数据平台。
除了mapR以外的发行版。基本都是在Apache hadoop上做了略微改进，只有mapR与Apache hadoop有较大区别，以下表格是一些功能上的区别，EMC Greenplum HD 是基于mapR所以功能同mapR。
http://www.slideshare.net/mcsrivas/design-scale-and-performance-of-maprs-distribution-for-hadoop
http://qing.weibo.com//88ca09aa330003wz.html
http://qing.weibo.com//88ca09aa.html
http://qing.weibo.com//88ca09aa330003zv.html
http://qing.weibo.com//88ca09aa330003zz.html
https://issues.apache.org/jira/browse/HDFS-347
(责任编辑：刘芬)
本文内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：zixun-group@service.aliyun.com 进行举报，并提供相关证据，工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。
　网站结构是SEO的基础，要搭建利于 SEO的网站结构需要了解搜索引擎(百度)的SEO规则，这里需要讨论哪种布局对搜索引擎最友好，也可以看成搜索引擎喜欢那些布局，搜索引擎制定有哪些规则。 　　代码优化 　　① flash， asp， html各如何优化 　　全站flash 的站要针对网站头部进行进一步优 化，Flash 代码只需在代码外设置内页入口 　　asp 代码会被搜索引擎收录但是收录效...
下个星期一开始就要接手一个新的网站，整个公司就我一个人做SEO，公司网站是同城送餐网，也是我上一篇文章说到的那个公司，老板主动加我QQ，聊了1个多小时，让我过去帮忙，工资开的不低，我就想去试试。SEO就我一个，我肯定是要负责整个网站的运营了，要为提高网站的流量、排名、转化率制定个计划，下面我就说说我自己对网站的整改和计划。 　　网络营销和推广方法在上篇《送餐网站推广营销方案的设定》已经说过了...
相信很多医疗网站，都有过策划专题的经验。而且，随着现在医疗网站的发展来说，一个有吸引力的专题对于网站是非常有好处的，对于医疗网站来说，专题内容策划占到了很重要的地位。那么，医疗网站专题策划需要做哪些方面?针对我做过的专题，来与大家交流下。 　　第一，医疗网站专题策划的主题。 　　网络新闻专题适合于表现各种重大新闻题材，那么，对于医疗网站来说，会以一些重大事件或者是高搜索量词做一个专题。下面，...
　12月4日消息，以“创新、融合、发展”为主题的第二届中国地方与行业网站峰会将于-5日在杭州海外海国际会展中心举行，3000多名来自互联网各界的从业人士、站长、媒体与嘉宾参加了本次盛会，admin5站长网作为大会合作媒体参与了全程报道，以下是化龙巷总经理钱钰的演讲内容。& 　　大家好，在这里首先感谢大会的主办方阿里集团和PHPWIND给大家提供了这么好的交流和分享...
现在准备做网站大体上有两种犹豫，一种是做一个大而全的网站犹豫，另一个是选择不好细分的行业网站犹豫，不过大部分的草根站长都把目标选择在小而细的行业型的网站，具体要选择什么样的行业那就要看草根站长个人的兴趣爱好了，最好是自己对这个行业非常熟悉的，这样才能够把这个小儿细的行业网站做到专业和极致!才能够体现出网站的差异化! 　　那么什么是网站细分呢?简单的说就是对目标访问群体进行具体的定位，做好这一...
　其实做这个网站的初衷也就是一群有点小抱负的几个80后，聚集在一起每个人都小激动了一把，想把自己现在做的二手房做强做大，才决定成立合肥房产网，虽然开始只是兴趣使然，但直到现在大家目标都很明确，要做就坚持做到最大最强。当时大家也没管对手有多么强大，自己能否击败他们，或许就是这种“初生牛犊不怕虎”的大无畏的自信，才让我们一路走来。好像扯远了，言归正传，现在我就总结下我们的门户网站在运营时所积累一...
若您要投稿、删除文章请联系邮箱：zixun-group@service.aliyun.com，工作人员会在5个工作日内回复。
售前咨询热线
服务与支持
资源和社区
关注阿里云
International23:39&&&&&&&&