酷派苹果一体机更新新数据

来源：蜘蛛抓取(WebSpider) 时间：2015-12-11 21:34 标签： 苹果一体机系统更新
比特客户端
您的位置：
详解大数据
详解大数据
详解大数据
详解大数据
探秘浪潮大数据一体机的存储高招
　　由于与智慧城市、、移动互联等前景的项目息息相关，成为时下最炙手可热的IT技术。在此背景下，众多的IT厂商纷纷推出基于的大数据，力图表明已经做好准备迎接。不过，大部分IT厂商谈及的几乎都是产品特点和市场表现，一旦涉及具体的技术细节都深藏不露，例如近年来，Erasure Code作为可有效提升效率、安全性和便捷性的新兴存储技术，备受IT和业界青睐，但却对此技术秘而不宣。近日，笔者有机会近距离接触到云海大数据一体机SDA60000，对Erasure Code在这款产品中的应用细节探了一回究竟。
　　众所周知，Hadoop之所以问世，很大一部分原因是为了解决数据的问题。由此可见，存储在整个Hodoop体系下的地位有多么重要。SDA60000作为一款面向大数据分析、处理的软硬一体化产品，在存储方面做了针对性的设计：硬件上使用了大容量的硬盘，单机柜可提供700TB以上的裸容量;软件方面，部署了浪潮在开源Hadoop基础上做了深度优化后的浪潮云谷一体机系统软件，通过HDFS文件系统实现对海量数据的快速存储。这其中，Erasure code的巧妙使用，使得HDFS的存储机制得到了进一步改良。
　　Erasure Code：互联网巨头们的“最爱”
　　Erasure Code 最早是中有噪信道编码的一种，也叫纠删码。Erasure Code设计的初衷，是希望利用这项技术将数据分割成不可识别的数据块，使用额外的信息追加到每个数据块中，允许从一些数据块的子集就可以复原完整的数据集，数据块可以分布在一个、城市、地区或全球任何地方的不同存储位置。这种方式将大大提升数据存储的便利性和安全性。
　　从某种程度而言，Erasure Code 是对 5 算法的改良和优化。最常见的Erasure Code是Reed Solomon算法。如图1所示，假设总共有n块数据，其中k块用来存放数据，m块用来存储erasure编码(k+m=n)，只要坏掉的数据块数量不超过m块，通过erasure编码将其余的恢复出来。也就是说，通常k+m的erasure编码，能容m块数据故障的场景，这时候的存储成本是1+m/k，通常m<K。因此，通过ERASURE编码，我们能够把副本数降到1.X。
　　▲图 1 Reed Solomon Erasure Code 算法
　　当前，、、、Amazon、等互联网巨头早已开始研究Erasure code编码存储技术，并将其实际应用到各自主流中。
　　Google GFS II中采用了最基本的RS(6，3)编码，将一个待编码数据单元(Data Unit)分为6个数据块(data block)，再添加3个校验块(parity block)，最多可容包括校验块在内的任意3个数据块错误。
　　在其平台Windows Azure Storage中将校验块分为全局校验块、局部校验块。当发生任何一个数据块错误时，恢复代价由传统RS(12，4)编码的12(通过网络传输的数据块数量)，变为6，恢复过程的网络I/O开销减半。
　　Facebook HDFS RAID的早期编码方式是RS(10，4)，为减少数据恢复的网络I/O，Facebook于VLDB 2013发表名为“XORing Elephants”的LRC编码方法，除了在原先的10个数据块之后添加4个校验块外，还将10个数据块均分为2组，每组单独计算出一个局部校验块，将数据恢复代价由原来的10降低为5。
　　采众家之长 浪潮SDA60000中的Erasure Code
　　当然，天下没有免费的午餐，HDFS Erasure Code在提升存储空间利用率的同时，由于数据校验块的计算需要额外的CPU时间，加上完整的数据块只有一份，在高并发读取时效果不理想。故此，应用Erasure Code需根据数据量和性能需求制定有针对性的策略：对于数据量大，存储空间紧张，访问频度低的数据采用Erasure Code方式。
　　浪潮云海大数据一体机SDA60000借鉴了各大厂商的研发和优化经验，采用Erasure code对HDFS的存储机制进行改良，它采用的RS因子为RS(10，4)，即为每10个数据块生成4个校验块，每个集群可容忍最多4个节点失效，数据冗余度为1.4。通过Erasure code技术，SDA60000在保证了数据容错的基础上大幅提升了存储空间利用率。
　　▲图 2 SDA60000 Erasure Code 策略
　　如图2所示，浪潮云海大数据一体机SDA60000可为HDFS的每一个目录制定灵活的Erasure Code策略，通过制定RAID间隔，SDA 60000可以实时侦测特定目录中数据的冷热程度，当系统发现某些数据在很长一段时间没有被访问时，自动将底层的存储机制从默认的三副本转化为Erasure Code，以提升文件系统的空间利用率。
　　在实际应用中HDFS Erasure Code功能非常适合海量历史数据的存储，是图片视频数据，音频数据和日志数据理想的动态归档，在政府、公安、医疗和科研等行业具有广泛的应用前景。
　　相对于传统的业务系统，大数据分析系统对于数据可用性和数据处理性能要求更为苛刻，浪潮云海大数据一体机将进一步发挥其软硬件一体的优势，一方面，优化软件算法并针对硬件情况调优参数，另一方面，借助于浪潮强大的硬件研发能力，通过FPGA(Field-Programmable Gate Array)加速卡，缓存加速等技术加速编码速度，提升IO性能。
　　浪潮是领先的云数据产品及方案供应商，目前已全面涉足软件定义数据中心，强调以硬件重构和软件定义相结合的融合架构，来实现数据中心所有资源的全、全，更好的满足大数据、应用对IT基础架构的要求。浪潮云海大数据一体机SDA60000作为一款融合架构产品，将是未来软件定义数据中心支撑平台的重要选择之一。
相关文章：
[ 责任编辑：杨瑗嘉 ]
为更好推动开放架构发展，打造开…
甲骨文的云战略已经完成第一阶段…
软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯，最新的软件技巧，最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中，与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊！
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧，帮助网管答疑解惑，成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一，主要关注x86服务器，RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析，让您第一时间了解服务器行业的趋势。
比特存储周刊长期以来，为读者提供企业存储领域高质量的原创内容，及时、全面的资讯、技术、方案以及案例文章，力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
比特安全周刊通过专业的信息安全内容建设，为企业级用户打造最具商业价值的信息沟通平台，并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比，比特安全周刊运作模式更加独立，对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事，为企业级用户打造重点突出，可读性强，商业价值高的信息共享平台；同时为互联网、IT业界及通信厂商提供一条精准快捷，渗透力强，覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展，全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托，汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台，并持续提供丰富的资讯和服务，探讨信息化建设，推动中国信息化发展引领CIO未来职业发展。
IT专家新闻邮件长期以来，以定向、分众、整合的商业模式，为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容，包括IT新闻、评论、专家答疑、技巧和白皮书。此外，IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊是一份IT人的技术娱乐周刊，给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍，同时用户还能参与我们推荐的互动游戏，给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。
微信扫一扫
关注Chinabyte酷派8732一体机的手机屏多少钱_百度知道
酷派8732一体机的手机屏多少钱
知道亲外屏碎 内外都碎 内外都碎换普通60元 原装80 我边价位 希望亲采纳
其他类似问题
为您推荐：
手机屏的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁怎么分辨酷派y75是不是一体机_百度知道
怎么分辨酷派y75是不是一体机
我有更好的答案
网验证手机真假 百度搜索——电信设备进网管理 进入网站验证手机进网许证手机串号 要真货手机数据库都登记注册
其他类似问题
为您推荐：
酷派的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁酷派大神note3是一体机吗_百度知道
酷派大神note3是一体机吗
提问者采纳
提问者评价
其他类似问题
为您推荐：
酷派的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁

我要回帖

更多关于 苹果一体机系统更新 的文章

 

随机推荐