今年早些时候，Gartner公布了前十大云计算存储供应商名单，并突出了这些世界上顶级云存储供应商各自的主要特点及其与众不同之处。更重要的是，该报告中显示了云存储供应商为考虑其下一个数据存储购买的企业客户提供了新的选择。　　虽然每个云存储供应商都有各自独特的优势，但他们几乎都提供相同的云存储优势，这包括：　　1.几乎无限量供应企业所需的容量：企业可以避免因为容量用尽而造成的更新、升级和迁移的可怕循环　　2.多站点冗余：大多数云存储供应商为容灾提供多复制和数据中心冗余　　3.降低维护成本：云存储意味着永远不用接触或者更换磁盘器，或者经历存储维护周期，而是将所有存储管理外包到云计算　　4.零资本支出:云存储的付费模式让企业只需支付其所使用的容量，消除了设备资金支出、过度采购和利用率不足　　5.降低拥有成本：采购、维护和管理本地存储基础设施的成本非常高昂，研究公司Forrester研究显示，与传统存储相比，云存储能够节省74%的成本。　　企业通过集成云计算到其存储环境，可以缓解存储周期的负担-数据增长-&存储容量压力-&无尽的维护工作-&技术更新/数据迁移-&重复。　　当将数据转移到云计算中时，另一个需要考虑的是云集成存储的额外价值，这种存储使访问云存储就像访问本地存储一样简单又安全。云集成存储可以支持熟悉的NAS和SAN接口来实现即时应用程序兼容性和快速的本地高速数据访问。　　不过，虽然现在企业部署云存储的主要驱动力等同于建立一个更好的“捕鼠器”，但富有远见的企业则会延伸他们的视野，并开始考虑如何从数据转移到云计算中来挖掘其竞争优势。除了常见的功能和优势外，在考虑部署云计算存储时，还有哪些其他重要的考虑因素呢?　　最近的GigaOm文章将云存储比喻为云计算的“可卡因”，虽然对于这么具有价值的产品，这并不是一个理想的比喻，但事实是，有很多不同的高价值服务可以让云计算不仅仅是数据“休息”的地方。按需业务连续性/灾难恢复和分析服务就是使用云计算作为除存储以外，计算基础设施的延伸的很好的例子。这两种服务都很好地诠释了企业可以从将数据转移到云计算中获得的额外的价值。　　现在，云集成存储可以提供比传统存储更高效、更具成本效益和更低维护成本的解决方案。从这一点来看，企业都应该认真考虑部署这种存储。但这仅仅是个开始。在不久的将来，这种相同的解决方案将为你做更多的工作，而不仅仅是帮助你缓解存储疼痛，它将带来各种服务和功能，用以加强你的业务和提供有竞争力的优势。　　云存储行业正在迅速走向成熟，并能为几乎所有企业提供很大的优势。作为传统存储的真正的替代品，这是非常值得考虑的。企业可以对比不同供应商的主要功能，选择能为你的企业提供更多价值的产品。存储D1net的个人展示页
联系我们&nbsp:&nbspsohump@sohu-inc.com关于我们&nbsp-&nbsp运营规范&nbsp-&nbsp服务协议&nbsp-&nbsp侵权投诉&nbsp-&nbsp反馈建议应用解析：大数据存储服务选择最佳做法-阿里云资讯网
应用解析：大数据存储服务选择最佳做法
发布时间：
更新时间：
来源：网络
上传者：用户
磁盘存储就像是衣橱，永远不够用，在大数据时代，这一点尤为突出。“大数据”意味着需要比传统存储平台处理更多的数据。那么这对于CIO意味着什么呢？意味着他们将需要做出更多的努力，而可供参考的信息却很少。
不过，在为大数据选择存储服务时也并不是完全无迹可寻。
何谓大数据
首先，我们需要清楚大数据与其他类型数据的区别以及与之相关的技术(主要是分析应用程序)。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等)以及http://www.aliyun.com/zixun/aggregation/13739.html&&非结构化数据(社交媒体帖子、、多媒体数据)。此外，大部分这些数据缺乏索引或者其他组织结构，可能由很多不同文件类型组成。
由于这些数据缺乏一致性，使标准处理和存储技术无计可施，而且运营开销以及庞大的数据量使我们难以使用传统的服务器和SAN方法来有效地进行处理。换句话说，大数据需要不同的处理方法：自己的平台，这也是Hadoop可以派上用场的地方。
Hadoop是一个开源分布式计算平台，它提供了一种建立平台的方法，这个平台由标准化硬件(服务器和内部服务器存储)组成，并形成集群能够并行处理大数据请求。在存储方面，这个开源项目的关键组成部分是Hadoop分布式文件系统(HDFS)，该系统具有跨集群中多个成员存储非常大文件的能力。HDFS通过创建多个数据块副本，然后将其分布在整个集群内的计算机节点，这提供了方便可靠极其快速的计算能力。
从目前来看，为大数据建立足够大的存储平台最简单的方法就是购买一套服务器，并为每台服务器配备数TB级的驱动器，然后让Hadoop来完成余下的工作。对于一些规模较小的企业而言，可能只要这么简单。然而，一旦考虑处理性能、算法性和数据挖掘，这种方法可能不一定能够保证成功。
你的存储架构
这一切都归结到所涉及的存储结构和网络性能。对于经常分析大数据的企业而言，可能需要一个单独的基础设施，因为随着集群中计算节点的数量的增长，带宽开销也会增长。通常情况下，使用HDFS的多模计算集群在处理大数据时将会产生流量。这是因为Hadoop在集群的成员服务器间传输数据(以及计算资源)。
在大多数情况下，基于服务器的本地存储并没有高效率的，这也是为什么很多企业转向使用高速光纤结构的SAN来最大限度地提高吞吐量。然而，SAN方法本身并不一定适合大数据部署。尤其是那些使用Hadoop的大数据部署，因为SAN承担集中硬盘上数据的责任，这反过来意味着每个计算服务器将需要访问相同的SAN来恢复正态分布的数据。
然而，当比较本地服务器存储和基于SAN的存储时，本地存储在两个方面占据优势：成本和性能。简而言之，没有在每个计算成员放置RAID的原始在处理HDFS请求时将胜过SAN，然而，基于服务器的磁盘存在缺点，主要是在可扩展性方面。
问题是当服务器依赖于本地存储时，你如何在必要的时候增加更多的容量。通常，有两种方式来处理这种困境。第一种方法是增加具有更多本地存储的额外的服务器。第二种方法是增加集群服务器的容量。这两种方法都需要购买和配置硬件，这将导致停机时间，可能还需要重新设计架构。然而，无论使用哪种方法都要比向SAN增加容量要便宜，可以说，这是一个显著的成本优势。
然而，当涉及到Hadoop时，还有其他存储选择。，一些领先的存储厂商都在建立专门针对Hadoop和大数据分析的存储设备。这些供应商包括EMC，目前提供Hadoop解决方案，例如Greenplum HD Data Computing Appliance。甲骨文正在考虑进一步深化Exadata系列设备，提供计算能力以及高速存储。
最后一个存储选择是云形式的存储，Cloudera、微软、Amazon和很多其他供应商都在提供基于云的大数据解决方案，这些解决方案能够提供处理能力、存储和支持。
在选择大数据存储解决方案时需要考虑究竟需要空间，分析频率如何以及需要处理什么类型的数据。这些因素，以及安全、预算和处理时间都是选择大数据存储解决方案时需要考虑的因素。
可能站在保险的角度来看，一个试点项目可能是一个不错的开始，商品硬件也是大数据试点项目的投资选择。
(责任编辑：杜庆先)
本文内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：zixun-group@service.aliyun.com 进行举报，并提供相关证据，工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。
摘要： 由中国计算机协会（CCF）主办，CCF大数据专家委员会协办，中科院计算所与CSDN共同承办的第七届中国大数据技术大会（Big Data Technology Conference 2013，BDTC 2013） 将于-6日在北京世 & 　　由中国计算机协会（CCF）主办，CCF大数据专家委员会协办，中科院计算所与CSDN共同承办的第七届中国大数据技术大会（...
摘要： 新浪科技讯 7月25日下午消息，大数据技术公司百分点今日宣布完成第二轮1000万美元融资，投资方为东方星空创投和IDG资本，百分点同时发布新战略，由提供大数据技术进入到大数据管 　　新浪科技讯 7月25日下午消息，大数据技术公司百分点今日宣布完成第二轮1000万美元融资，投资方为东方星空创投和IDG资本，百分点同时发布新战略，由提供大数据技术进入到大数据管理与应用领域。 　　成立4年...
摘要： 随着美国中情局前雇员斯诺登将美国的棱镜计划公之于众，全球舆论鼎沸，斯诺登是不是叛国者，美国政府是否违宪，诸如此类的讨论热火朝天。棱镜门为人们反思大数据时代的个人隐 随着美国中情局前雇员斯诺登将美国的“棱镜”计划公之于众，全球舆论鼎沸，斯诺登是不是叛国者，美国政府是否违宪，诸如此类的讨论热火朝天。“棱镜门”为人们反思大数据时代的个人隐私与公共安全提供了一个范本，斯诺登潜逃、引渡以及政治...
阿里大数据梦
摘要： 为了迎接即将到来的大数据时代，各大互联网公司都在争分夺秒。阿里巴巴在公布大数据分享平台之后的半年中，也全面启动了攻势。但即使是这个行业的先行者，离大数据时代也还有 &为了迎接即将到来的大数据时代，各大互联网公司都在争分夺秒。阿里巴巴在公布大数据分享平台之后的半年中，也全面启动了攻势。但即使是这个行业的先行者，离大数据时代也还有不小的距离。& 刚刚过去的2012年，...
投资爱站网
摘要： 最开始知道蔡文胜投资爱站网的消息，是看到老郭在微信朋友圈发布的一条信息，后面看管鹏也有发，应该消息属实。 如图：5月30日老郭微信第一时间爆料，蔡文胜投资爱站的消息 消 最开始知道蔡文胜投资爱站网的消息，是看到老郭在微信朋友圈发布的一条信息，后面看管鹏也有发，应该消息属实。 如图：5月30日老郭微信第一时间爆料，蔡文胜投资爱站的消息 & & 消息经老郭和管鹏第一时...
摘要： 去年是云计算，今年是大数据。作为时下最流行的信息化标志，如今每个行业都在为自己具备大数据能力而作出努力。一时间，似乎不说自己有大数据基因，或者正在做着大数据相关的 去年是“云计算”，今年是“大数据”。作为时下最流行的信息化“标志”，如今每个行业都在为自己具备“大数据”能力而作出努力。一时间，似乎不说自己有“大数据”基因，或者正在做着“大数据”相关的事情，都觉得自己赶不上潮流了。但是最...
若您要投稿、删除文章请联系邮箱：zixun-group@service.aliyun.com，工作人员会在5个工作日内回复。
售前咨询热线
服务与支持
账号与支持
关注阿里云
International股票/基金&
应用解析：大数据存储服务选择最佳做法
　　磁盘存储就像是衣橱，永远不够用，在大数据时代，这一点尤为突出。“大数据”意味着需要比传统存储平台处理更多的数据。那么这对于CIO意味着什么呢？意味着他们将需要做出更多的努力，而可供参考的信息却很少。　　不过，在为大数据选择存储服务时也并不是完全无迹可寻。　　何谓大数据　　首先，我们需要清楚大数据与其他类型数据的区别以及与之相关的技术(主要是分析应用程序)。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等)以及非结构化数据(社交媒体帖子、传感器、多媒体数据)。此外，大部分这些数据缺乏索引或者其他组织结构，可能由很多不同文件类型组成。　　由于这些数据缺乏一致性，使标准处理和存储技术无计可施，而且运营开销以及庞大的数据量使我们难以使用传统的服务器和SAN方法来有效地进行处理。换句话说，大数据需要不同的处理方法：自己的平台，这也是Hadoop可以派上用场的地方。　　Hadoop是一个开源分布式计算平台，它提供了一种建立平台的方法，这个平台由标准化硬件(服务器和内部服务器存储)组成，并形成集群能够并行处理大数据请求。在存储方面来看，这个开源项目的关键组成部分是Hadoop分布式文件系统(HDFS)，该系统具有跨集群中多个成员存储非常大文件的能力。HDFS通过创建多个数据块副本，然后将其分布在整个集群内的计算机节点，这提供了方便可靠极其快速的计算能力。　　从目前来看，为大数据建立足够大的存储平台最简单的方法就是购买一套服务器，并为每台服务器配备数TB级的驱动器，然后让Hadoop来完成余下的工作。对于一些规模较小的企业而言，可能只要这么简单。然而，一旦考虑处理性能、算法复杂性和数据挖掘，这种方法可能不一定能够保证成功。　　你的存储架构　　这一切都归结到所涉及的存储结构和网络性能。对于经常分析大数据的企业而言，可能需要一个单独的基础设施，因为随着集群中计算节点的数量的增长，带宽开销也会增长。通常情况下，使用HDFS的多模计算集群在处理大数据时将会产生大量流量。这是因为Hadoop在集群的成员服务器间传输数据(以及计算资源)。　　在大多数情况下，基于服务器的本地存储并没有高效率的优点，这也是为什么很多企业转向使用高速光纤结构的SAN来最大限度地提高吞吐量。然而，SAN方法本身并不一定适合大数据部署。尤其是那些使用Hadoop的大数据部署，因为SAN承担集中硬盘上数据的责任，这反过来意味着每个计算服务器将需要访问相同的SAN来恢复正态分布的数据。　　然而，当比较本地服务器存储和基于SAN的存储时，本地存储在两个方面占据优势：成本和整体性能。简而言之，没有在每个计算成员放置RAID的原始磁盘在处理HDFS请求时将胜过SAN，然而，基于服务器的磁盘存在缺点，主要是在可扩展性方面。　　问题是当服务器依赖于本地存储时，你如何在必要的时候增加更多的容量。通常，有两种方式来处理这种困境。第一种方法是增加具有更多本地存储的额外的服务器。第二种方法是增加集群服务器的容量。这两种方法都需要购买和配置硬件，这将导致停机时间，可能还需要重新设计架构。然而，无论使用哪种方法都要比向SAN增加容量要便宜，可以说，这是一个显著的成本优势。　　然而，当涉及到Hadoop时，还有其他存储选择。例如，一些领先的存储厂商都在建立专门针对Hadoop和大数据分析的存储设备。这些供应商包括EMC，目前提供Hadoop解决方案，例如Greenplum HD Data Computing Appliance。甲骨文正在考虑进一步深化Exadata系列设备，提供计算能力以及高速存储。　　最后一个存储选择是云形式的存储，Cloudera、微软、Amazon和很多其他供应商都在提供基于云的大数据解决方案，这些解决方案能够提供处理能力、存储和支持。　　在选择大数据存储解决方案时需要考虑究竟需要多少空间，分析频率如何以及需要处理什么类型的数据。这些因素，以及安全、预算和处理时间都是选择大数据存储解决方案时需要考虑的因素。　　可能站在保险的角度来看，一个试点项目可能是一个不错的开始，商品硬件也是大数据试点项目的低成本投资选择。
05/08 07:3605/07 05:0205/04 11:0205/03 10:0405/02 11:1804/28 08:3804/25 15:1904/20 23:39
科技精品推荐
每日要闻推荐
精彩焦点图鉴
　　【免责声明】本文仅代表作者本人观点，与和讯网无关。和讯网站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。海量数据存储方式概述_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
海量数据存储方式概述
阅读已结束，下载本文需要
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩1页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢