HUABASE基于列存储的关系型数据库系统_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
文档贡献者贡献于
评价文档：
41页免费22页免费9页免费11页¥3.0010页免费12页免费10页免费2页免费6页免费5页免费
喜欢此文档的还喜欢8页免费21页1下载券5页免费19页2下载券12页1下载券
HUABASE基于列存储的关系型数据库系统|H​U​A​B​A​S​E​基​于​列​存​储​的​关​系​型​数​据​库​系​统
把文档贴到Blog、BBS或个人站等：
普通尺寸(450*500pix)
较大尺寸(630*500pix)
大小：21.21KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢后使用快捷导航没有帐号？
查看: 116|回复: 2
关系型数据库存储的数据如何应用到Hadoop 集群?
注册会员, 积分 120, 距离下一级还需 80 积分
论坛徽章:1
是生成文本文件后还是选择Hive
中级会员, 积分 489, 距离下一级还需 11 积分
论坛徽章:2&&>&&&&>&&
大数据和NoSQL：关系型数据库的不足之处　 来源：36大数据　 作者：比特币众所周知关系型数据库不是万能的，很多问题不适合用关系型数据库去解决的，这就是NoSQL所倡导的是“不只是SQL(Not Only SQL)”。由于关系型数据库在企业市场长期稳固的统治地位，许多人都不曾意识到除了关系型之外还有其他类型的数据库。关系型数据库非常善于处理事务的更新操作，尤其是处理更新过程中复杂一致性的问题。企业级的关系型数据库甚至可以支持二阶提交功能，二阶提交就是一笔业务交易同时影响多个数据库和表，且所有的更新操作必须在同一时刻生效的功能。
但是，关系型数据库在一些操作上过大的开销严重影响了其他功能的日常使用。尤其是关系型数据库并不擅长处理一些大数据管理方面的关键操作：
首先，关系型数据库无法大规模扩展，尽管网络解决方案一定程度上改善了这个问题，但网络中仍然无法动态的创建新的集群，因此使用关系型数据库构建大数据解决方案就会变得异常昂贵。其次，关系型数据库不善于处理非结构化数据。最后，SQL和关系型数据库的组合难以实现某些类型的简单查询，比如两点间的最短线路。
一些社交网络和大数据公司，例如Facebook、谷歌，他们首先意识到在现如今的海量数据和多样化数据类型的环境下，关系型数据库不再是最佳的选择了。因此NoSQL数据库例如MongoDB、Cassandra、HBase和SequoiaDB就应运而生了。这类环境的主要功能之一就是帮助用户动态的、简便地扩展数据存储服务器的数量。在关系型数据库内存储大量数据的代价是非常昂贵的，并且在接近PB级时会达到一个极限。而在NoSQL解决方案中，存储数据的花费是随着数据量而呈线性无限增长的。
如今，也有很多人抱持着“未来将完全是NoSQL的世界”，“关系型数据库将被时代淘汰”这类的言论，其实我并不这么认为。NoSQL在一些方面仍然不够成熟，在一些场景的表现不如传统关系型数据库。比如，一个重要方面就是事务处理，现如今绝大部分的NoSQL数据库都不能支持事务。所以，NoSQL想要更进一步，我认为需要跳出互联网行业，融入一些“企业级”的运用，这样才能在更多的行业领域与RDBMS来一较高下。关键词：关系型数据库 NoSQL 谷歌 数据类型MemSQL：号称世界上最快的内存-关系型数据库 兼容MySQL但快30倍
发表于 17:04|
来源GigaOM|
作者Jordan Novet
摘要：MemSQL是一款内存数据库，它将SQL语句预编译为C++从而获得极速的执行效率。MemSQL宣称这是世界上最快的分布式关系型数据库，兼容MySQL但快30倍，能实现每秒150万次事务，但此产品也遭到Facebook MySQL工程师的吐槽。
内存数据库初创公司MemSQL最近开发出一个新的分布式数据库版本，在内存中不仅能够处理更大的数据集，而且同时保持了高速处理。在最新的版本中，用户将可以横跨多个商用节点（服务器）扩展MemSQL数据集，实现超大规模下完成大型负载。而在此之前的版本，MemSQL数据库被限制于在单一的主机上。该公司的联合创始人兼CEO Eric Frenkiel表示，新版本相较于老版本，可以扩展到更多的主机上。不仅如此，新版本还配备了MemSQL Watch仪表板来追踪监控数据库集群的性能表现。
MemSQL是一款内存数据库，它通过将数据存在内存中，将SQL语句预编译为C++而获得极速的执行效率。MemSQL宣称这是世界上最快的分布式关系型数据库，兼容MySQL但快30倍，能实现每秒150万次事务。
MemSQL由前Facebook工程师Eric Frenkiel和微软SQL Server高级工程师Nikita Shamgunov（CTO）联合创办，MemSQL的高性能数据库还参照了Facebook的脚本，有着强烈的Facebook印记。在2011年7月，MemSQL获得了Ashton
Kutcher、SV Angel、Paul Buchheit以及New Enterprise Associates等14家风投的青睐，融资210万美元。仅一年以后又再次获得了IA
Ventures和Digital Sky Technologies两家共计300万美元的风险投资。
从MemSQL官网上了解到，MemSQL具有以下几大特色：
无可比拟的效率：MemSQL执行效率比传统的基于磁盘的数据库要快30倍，它优于其他内存数据库，因为它将SQL语句预编译为C++。
强大的SQL执行能力：支持全功能的关系型数据库，开发者不必修改现有程序即可获得NoSQL键/值存储系统的效率。
横向和纵向扩展：MemSQL支持纵向扩展，CPU越好效率就越高；而且支持向多CPU扩展；此外，MemSQL还可与MySQL节点结合起来处理PB级的负载。
缺省支持数据持久性：MemSQL缺省支持数据从内存到磁盘/SSD的同步，保证数据的安全可靠。
简易安装：只需30秒即可完成安装并使用MemSQL，兼容MySQL，学习曲线平滑。
MemSQL的竞争对手
MemSQL面临着
的挑战，他们都宣称比SQL表现更强劲，都有一个熟谙数据库技术的创始团队。现今有很多NewSQL创新企业，包括VoltDB、NuoDB、
ScaleBase、Tokutek、JustOneDB和Clustrix，这些公司都表示能够帮助关系型数据库扩展规模，性能也比MySQL更好，而价格上也要比同类型的Oracle数据库便宜得多。
MemSQL背后的故事
在日-12月1日，Hadoop与大数据技术大会（HBTC 2012）在北京举办。MemSQL联合创始人兼CTO Nikita
Shamgunov受邀参加了这次大会，在主题论坛做了主题为“
”的演讲。他认为摩尔定律的时代已经结束。虽然现在在很多方面提升的速度已经放缓，然而在数据上摩尔定律依然存在。数据每18个月就会翻番，这就需要更多的技术来操作如此庞大的数据。在本次大会上，MemSQL进入了我们的视线，给我们留下了深刻的印象。
图：MemSQL联合创始人兼CTO Nikita Shamgunov
CSDN后续对MemSQL做了多次报道，《
》一文在网上引起了很大的反响，不过不久之后就有人表示不服，
，他认为MemSQL是由一群聪明的小伙儿鼓捣出来的，他们现在正在媒体和技术社区“兴风作浪”。Facebook的这位工程师认为，系统必须在完全不同的配置文件中运行。例如，用于数据缓冲的内存在MemSQL中本质上是解除绑定的，而InnoDB在MySQL5.5把它限制在了128MB，这是MySQL5.1默认设置的16倍。至于写入性能方面，MemSQL
能写出2G的快照日志，而InnoDB设置为10MB的事务日志，所以会更快地开始检查点。尽管如此，对于基准来说，稳定持久是最重要的。MemSQL宣称支持ACID，其中耐久性是最重要的一环。MySQL的InnoDB默认是很耐用的，如果事务返回为“同意”，就会在崩溃后刻到磁盘上。MemSQL默认也是很“耐久”的，它也会有一个事务日志，而这并不意味着跟磁盘有关。最后总结：MemSQL每秒持久事务比InnoDB慢500倍；MemSQL在做一些简单的读写查询时，比MySQL慢上千倍，也许是慢百万倍。（信息来源于CSDN网站报道）
在微博上，MemSQL也曾引起很多技术大牛的聚焦，
表示MemSQL是一种伪技术，老瓶子装新酒，并不是革命性的东西。很多人觉得需要更快的DB，实际上，他们需要的是写更有效率SQL语句的人。而
就认为：效率差1个数量级是很难通过写SQL来提升的，除非之前的SQL不是专业人士写的。
其实MemSQL最真实的情况，我们不得而知，或许真正使用过MemSQL的人才有最有发言权。今天MemSQL又推出了自己最新的分布式版本，未来的表现究竟如何，我们将拭目以待！（文/王鹏，审校/仲浩）。
相关文章阅读：
& 原文链接：
Cloud Edge：2013年国际“云先锋”系列报道
公司产品/方向
Jana Uhlig
$ 1M （B）
实时Hadoop系统
Gleb Budman
开源存储硬件
Jennifer Medberry
$2.8M（A）
Kickboard（数据分析）
Shay Banon
$24 M（B）
开源搜索引擎
Jeff Tegethoff
$6M &（B）
企业内部部署IaaS平台
Craig Elliott
$20 M（B）
软件定义网络（SDN）
Joe Arnold
$6.1M（A）
软件定义存储
Adina Mangubat
DNA序列数据分析平台
Geoffrey Hinton
Jim Melvin&
$16M（C）&
应用性能管理（APM）
Chris K. Wensel
Java大数据框架
John Marshall
$200M（A）&
移动设备管理
Robert Drost
$44M（C）&
虚拟化网络
Narges Bani Asadi
&$6.5M（B）
基因测序平台
Albert Azout
数据预测分析
&$5.7M（A）
数据库虚拟化引擎
Dan Siroker
&$28M（A）
A/B 测试服务
Manav Mital
&$17M（B）
Matthew Prince
&$20M（B）
云安全、网络性能
Ted Schlein
&$9.4M（A）
Eric Frenkiel
备注：日更新，持续更新中......
”将于-7日在北京国家会议中心隆重举行。猛击！
相关活动已经火热启动：
，欢迎研发者、团队和创业企业参加！
本文为CSDN编译整理，未经允许不得转载。如需转载请联系
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章