从Hadoop到自主研发，技术解读阿里去IOE后的系统架构
发表于 21:17|
摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现，阿里一直摸索在技术衍变的前沿。这里，我们将从架构、性能、运维等多个方面深入了解阿里基础设施。
【导读】互联网的普及，智能终端的增加，大数据时代悄然而至。在这个数据为王的时代，数十倍、数百倍的数据给各个机构带来了无尽的机遇；然而，无可否认的是，数据体积的暴增同样前所未有的挑战着企业的基础设施。
在这个大背景下，各个机构不得不在控制好成本支出的同时，不停摸索着时刻激增用户数据的解决之道，其中阿里的成绩无疑令人艳羡——单集群规模5000+的飞天，以及多集群跨机房计算的支持。本次我们将以飞天为例，为大家分享大规模分布式系统打造过程中的艰难坎坷及应对之道。
本次分享共分为视点、技术专题、应用实践三大板块：“视点”从人物着手细分阿里当时所面临的形势及各个据测制定的依据；“技术专题”主要从实践出发剖析飞天5000节点扩展时所遭遇的艰难险阻及应对之道，涉及架构调整、性能优化、系统运维等多个领域；“应用实践”则更注重于云实践经验及用例分享。
。在3个月deadline的情况下，阿里却选择投入更多人力物力及时间的云梯1（以Hadoop为底层的集群）和云梯2（以飞天为底层的集群）并行扩容，阿里人选择背水一战的原因究竟是什么？在这个过程中，他们又会遭遇哪些挑战？目标实现后的惊喜又是什么？
。盘古，飞天的分布式文件系统，在内部架构上盘古采用Master/ChunkServer结构，Master管理元数据，ChunkServer负责实际数据读写，通过Client对外提供类POSIX的专有API。在集群扩展到5K规模后，相关问题纷至沓来，主要可分为两个部分：首先，盘古MasterIOPS问题；其次，盘古Master冷启动速度。那么究竟是什么造成了这些问题？阿里工程师又该如何应对？
。伏羲，飞天平台的分布式调度系统。在5K攻坚中，从设计到实现每一步都可能存在性能“陷阱”，原因主要在三个方面：规模放大效应；木桶效应；长路径模块依赖。5000节点后这些方面究竟存在什么样的问题？阿里人又通过了什么方法保证了服务的性能与稳定性？
。5K后的运维模式究竟会产生什么样的变化？阿里人究竟为什么会开发华佗？上通飞天系统，下达运维各种系统，华佗健壮、简单和开放的架构究竟表现在什么方面？系统又是如何实现了自动化的运维？
。ODPS采用抽象的作业处理框架将不同场景的各种计算任务统一在同一个平台之上，共享安全、存储、数据管理和资源调度，为来自不同用户需求的各种数据处理任务提供统一的编程接口和界面。那么，在DT时代，不断扩大的数据规模又会给ODPS带来什么样的挑战？网站日志分析又该如何进行？
。阿里各业务部门如淘宝、天猫、一淘、B2B等每天都会产生大量的数据，日均增量数百TB。2013年初，阿里内部的生产集群PA所在机房的存储量最多可扩容到数十PB，而当时已使用75%的存储量。存储容量告急，迫切需要将生产集群PA上的大量数据迁移到其他集群。那么阿里人该如何安全地跨集群迁移几十PB的数据和其上相关业务？数据迁移之后，两个集群间存在大量的数据依赖，需要互相访问最新的数据，如何安全快速地实现跨集群数据同步？
。但短时间大规模快速膨胀的现状，给运维带来了巨大挑战，其中云梯2单集群规模更是从1500台升级到5000台。为此，运维需要做多个方向的调整，比如：提升全局掌控能力、实现系统的自我保护和自动化修复、大规模与精细化的平衡。那么，阿里又是通过什么途径完成这些工作的？
《不期而遇的飞天之路》——去IOE，飞天势在必行
翻开历史，淘宝曾启用全亚洲最大的OracleRAC集群，阿里更是购买过3年无限制的许可，阿里在IBM小型机以及EMC SAN存储上的投入也曾成为媒体争相报道的事件。但随着互联网爆发式发展，淘宝、支付宝和阿里巴巴B2B的注册用户数激增，阿里只能不停地通过水平和垂直扩展架构来应对新增用户生成的海量数据。而这种集中式数据库的架构，使得数据库成为了整个系统的瓶颈，越来越不适应海量数据对计算能力的巨大需求，更不用说越来越难以承受的高昂投入。阿里的“去IOE”已经势在必行：通过自主研发的分布式系统取代集中式数据库架构，使用MySQL+HBase取代Oracle，商用机取代小型机+SAN。
选择自主研发，这也是阿里云在步入云计算之路上做出的最重要的抉择：坚持追求拥有自有的最有竞争力的核心技术。在唐洪看来，云计算是一门高技术门槛的生意，具备核心技术竞争力等于具备了在战场上可以正面抗衡竞争对手的实力，尽管这个技术攻关的历程非常之艰难。选择自主研发而非采用开源Hadoop优化，也是基于一定的考虑，尽管Hadoop在离线大数据处理上具备优势，但无法完全提供阿里云要求的大规模分布式计算与处理的能力，而目前基于飞天上线的云服务，已远远超出Hadoop的能力。开源可以说是一条先易后难的路，尽管一开始可以走一些捷径，但事后在版本升级、研发上都会受颇多限制；从核心知识产权角度来看，今天无论是微软、Amazon或者Google的云计算平台，都没有采用Hadoop且不开放代码开源，本质上都是在追求自有的核心竞争力。开源软件无法彻底成为一个云计算底层平台的基础，采用开源软件并非解决做分布式系统这个问题的一剂良方。发展自有技术，坚持底层自主研发，如今能够构建超级计算机的飞天已成为阿里拥抱云计算，以及对外提供云计算服务的坚实基础。
已经实现5000节点单集群的飞天5K拥有惊人的规模：10万核的计算能力；100PB存储空间 ；可处理15万并发任务数；可承载亿级别文件数目；100TB排序30分钟完成，远超今年7月1日Yahoo!在Sort
Benchmark排序测试Daytona Gray Sort所创造的世界纪录——100TB排序完成时间约71分钟。
优秀的产品背后，必定有优秀的基础设施支撑。在此，我们期望越来越多的团队打造出更加稳定、更具性能的底层平台，不管是自主研发，亦或是基于开源。（审校/魏伟）
免费订阅“CSDN云计算（左）和CSDN大数据（右）”微信公众号，实时掌握第一手云中消息，了解最新的大数据进展！
CSDN发布虚拟化、Docker、OpenStack、CloudStack、数据中心等相关云计算资讯， & & 分享Hadoop、Spark、NoSQL/NewSQL、HBase、Impala、内存计算、流计算、机器学习和智能算法等相关大数据观点，提供云计算和大数据技术、平台、实践和产业信息等服务。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章分享给朋友：把视频贴到Blog或BBS&&通用代码: <input id="link4" type="text" class="form_input form_input_s" value="" />复 制flash地址: 复 制html代码: <input type="text" class="form_input form_input_s" id="link3" value="" />复 制分享视频到站外获取收益&&手机扫码分享视频二维码2小时内有效第140讲：Spark RDD到底是什么鬼？下载至电脑扫码用手机看用或微信扫码在手机上继续观看二维码2小时内有效第140讲：Spark RDD到底是什么鬼？扫码用手机继续看用或微信扫码在手机上继续观看二维码2小时内有效，扫码后可分享给好友没有优酷APP？立即下载请根据您的设备选择下载版本选集
药品服务许可证(京)-经营-
节目制作经营许可证京字670号
请使用者仔细阅读优酷、、
Copyright(C)2016 优酷
不良信息举报电话:关注度越来越高的机器学习到底是个什么鬼？
用微信扫描二维码分享至好友和朋友圈
导读：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动&学习&的算法
导读：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动&学习&的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。什么是机器学习？机器学习是一种数据分析方法，它可以自动分析模型的建筑。通过使用迭代学习数据的算法，机器学习可以使电脑在没有被明确编程看哪里的情况下，发现隐藏的领域。迭代在机器学习中是非常重要的，由于它的存在，模型在遇到新的数据时，就可以独立地适应数据。它们可以从先前产生的可靠计算，重复的决定和结果中进行学习。机器学习并不是一个全新的学科-而是获得新动力的学科。由于新型计算技术的产生，如今的机器学习与以往大不相同。尽管很多机器学习算法已经存在了很长时间，但自动将复杂的数学计算应用到大数据的能力（一个又一个，越来越快）是最新的进展。下面这些广泛宣传的机器学习应用程序的例子，你可能非常熟悉：&大量的炒作，Google自动驾驶？机器学习的本质。&像Amazon和Netflix的在线推荐服务？机器学习在日常生活中的应用&知道客户在Twutter上说了什么关于你的事吗？机器学习与语言规则创造结合。&欺诈检测？在我们现今生活中，一个更明显的，重要的用途。为什么越来越多人对机器学习感兴趣？人们在机器学习方面兴趣的复兴，也是由于同样的因素，即数据挖掘和贝叶斯分析比以往更受欢迎。在类似数量增长和可用数据这方面，计算处理更实惠，更强大，且负担得起数据存储。以上所有的因素都暗示着：机器学习可以更快且自动的产生模型，以分析更大，更复杂的数据，而且传输更加迅速，结果更加精准&&甚至是在非常大的规模中。结果是？在现实中无人类干涉时，高价值（ High-value）的预测可以产生更好的决定，和更明智的行为。自动模型的建立是在现实中生成明智行动的一大关键。分析思想领袖Thomas H. Davenport在华尔街日报上写道，日新月异，不断增长的数据，"&你需要快速移动的建模流（ fast-moving modeling streams）来保持。"而你可以通过机器学习做到这些。他还说道"人类通常一周可以创建一个或两个好的模型；而机器学习一周就可以创造出成千上万的模型."机器学习如今的应用情况如何？你曾经是否好奇过，一个在线零售商是如何瞬时的为您提供可能感兴趣产品的报价吗？或贷款人如何对你的贷款请求提供近实时的答复？我们的许多日常活动都是由机器学习算法驱动的，包括：机器学习中最流行的学习方法有哪些？被最广泛采纳的两大机器学习方法是监督学习（ supervised learning ）和无监督学习（unsupervised learning）。大多数的机器学习（大概70%）是监督学习。无监督学习大概占10%-20%。有时也会使用半监督和强化学习这两个技术。&监督学习&算法利用标签实例进行训练，就像已知所需输出的输入。例如，一个设备可以有的数据点标记为&F&（失败）或&R&（运行）。学习算法收到了一系列有着对应正确输出的输入，且算法通过对比实际输出和正确输出进行学习，以找出错误。然后相应的进行模型修改。通过分类，回归，预测和梯度提高的方法，监督学习使用模式来预测额外的未标记数据的标签的值。监督学习被普遍应用于用历史数据预测未来可能发生的事件。例如，它可以预测，什么时候信用卡交易可能是欺诈性的，或哪个保险客户可能提出索赔。&无监督学习使用无历史标签的相反数据。系统不会被告知&正确答案&。算法必须搞明白被呈现的是什么。其目标是探索数据并找到一些内部结构。无监督学习对事务性数据的处理效果很好。例如，它可以识别有相同属性的顾客群（可以在市场中被一样对待）。或者它可以找到主要属性将客户群彼此区分开。流行的技术包括自组织映射（self-organizing maps），最近邻映射（ nearest-neighbor mapping），k-均值聚类（k-means clustering ）和奇异值分解（singular value decomposition）。这些算法也用于段文本主题，推荐项目，和确定数据异常值。&半监督学习的应用和监督学习相同。但它同时使用了标签和无标签数据进行训练-通常情况下是少量的标记的数据与大量的未标记的数据（因为未标记的数据并不昂贵，且只需要较少的努力就可获得）。这种类型的学习可以使用的方法，如分类，回归和预测。当一个完全标记的培训过程，其相关标签的成本太高时，就要用到半监督学习。其中早期的例子包括在网络摄像头上识别一个人的脸。&强化学习经常被用于机器人，游戏和导航。通过强化学习，该算法通过试验和错误发现行动产生的最大回报。这种类型的学习有三个主要组成部分：代理（学习者或决策者），环境（一切的代理交互）和行动（什么是代理可以做的）。其目标是代理选择的行动，可以在一个给定的时间内最大化预期奖励。通过一个好的策略，代理将更快地达到目标。因此，强化学习的目标是学习最好的策略。数据挖掘、机器学习和深度学习之间的区别是什么？机器学习与其它统计和学习方法的不同之处，如数据挖掘，是辩论的另一个热门话题。简单来说，虽然机器学习使用了许多与数据挖掘相同的算法和技术，但其中有一个区别在于这两个学科的预测：&数据挖掘是发现以前未知的模式和知识。&机器学习是用来重现已知的模式和知识，自动应用到其他数据，然后自动的将这些结果应用到决策和行动。目前电脑的能力逐渐增强也刺激着数据挖掘进化用于机器学习。例如神经网络很长一段时间内被用于数据挖掘应用。随着计算能力的增加，你可以创建许多层神经网络。在机器学习语言中，这些被称为&深度神经网络&。正是计算能力的提升确保了自动学习快速的处理很多神经网络层。进一步说，人工神经网络（ANN）是简单的基于我们对大脑理解的一组算法。ANNs可以-在理论上-模拟数据集中任何种类的关系，但在实践中要从神经网络得到可靠的结果，是非常棘手的。人工智能的研究可以追溯到20世纪50年代&&被神经网络的成功和失败打上了标签。如今，一个被称为&深度学习&的新神经网络研究领域，在许多过去人工智能方法失败的领域，取得了巨大的成功。深度学习结合了计算能力和特殊类型的神经网络，在大量的数据中学习复杂的模式。深度学习技术目前在识别图像中的目标和声音中的单词方面效果最好。研究人员现在正在寻找方法，将这些成功的模式识别到更复杂的任务，如自动语言翻译，医疗诊断和许多其他重要的社会以及商业问题。机器学习的算法和过程算法SAS的图形用户界面，可以帮助你建立机器学习模型，并实现一个迭代机器学习的过程。不要求你是一个高级的统计师。我们可以综合选择机器学习算法帮助你快速的从大数据中获取价值，包括许多SAS产品。SAS的机器学习算法，包括：工具和过程正如我们现在所知道的，它不仅仅是算法。最终，从你的大数据中获得最大价值的秘密在于，将最好的算法与手头的任务配对：SAS机器学习的经验和专业知识SAS不断寻找和评估新方法。他们在实施统计方法，以最恰解决你面临的问题方面有着悠久的历史。他们将统计和数据挖掘方面丰富的，复杂的遗产与最新的，最先进的结构结合，以确保您的模型尽可能快的运行（甚至是在巨大的企业环境中）。我们明白，快速的时间值不仅意味着快速，自动化模型的性能，还包括在平台之间数据移动所需要的时间&&尤其针于大数据。高性能，分布式的分析技术，受益于结合Hadoop，和所有主要数据基础的大规模并行处理。您可以快速地循环建模过程的所有步骤&&在没有移动数据的情况下。via：SAS
[责任编辑：万庆丽]
用微信扫描二维码分享至好友和朋友圈
播放数：1133929
播放数：4135875
播放数：2845975
播放数：535774大数据究竟是什么_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
大数据究竟是什么
上传于||暂无简介
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩12页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢