HBase实战系列1—压缩与编码技术 - 为程序员服务
HBase实战系列1—压缩与编码技术
1、hbase压缩与编码的配置
解决方案：
1）apt-get install liblzo2-dev
2)hadoop-gpl-compression-0.2.0-dev.jar　放入classpath
把libgpl下的共享库文件放入/opt/hbase/hbase/lib/native/Linux-amd64-64/
libgplcompression.a libgplcompression.la libgplcompression.so libgplcompression.so.0 libgplcompression.so.0.0.0
&property&
&name&io.compression.codecs&/name&
&value&com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec&/value&
&/property&
&property&
&name&io.compression.codec.lzo.class&/name&
&value&com.hadoop.compression.lzo.LzoCodec&/value&
&/property&
hbase org.apache.hadoop.hbase.util.CompressionTest hdfs:///user.dat lzo
创建表格时，针对ColumnFamily设置压缩和编码方式。
HColumnDescriptor.setCompressionType(Compression.Algorithm.NONE);
HColumnDescriptor.setDataBlockEncoding(DataBlockEncoding.NONE);
使用FAST_DIFF 与 LZO之后的压缩情况：
hbase@GS-WDE-SEV0151:/opt/hbase/hbase$ hadoop fs -dus /hbase-weibo/weibo_test
hdfs://hbase-hdfs.goso.cn:9000/hbase-weibo/weibo_test
hbase@GS-WDE-SEV0151:/opt/hbase/hbase$ hadoop fs -dus /hbase-weibo/weibo_lzo
hdfs://hbase-hdfs.goso.cn:9000/hbase-weibo/weibo_lzo
hbase@GS-WDE-SEV0151:/opt/hbase/ops$ hadoop fs -dus /hbase-weibo/weibo_diff
hdfs://hbase-hdfs.goso.cn:9000/hbase-weibo/weibo_diff
hbase@GS-WDE-SEV0151:/opt/hbase/hbase$ hadoop fs -dus /hbase-weibo/weibo-new
hdfs://hbase-hdfs.goso.cn:9000/hbase-weibo/weibo-new
忽略数据中出现的Delete的数据、多个版本、以及超时的数据，压缩比达到1：5。
单独使用LZO的配置的压缩可接近也接近5：1的压缩比。
单独使用FAST_DIFF编码可以接近5：2的压缩比。
HBase操作过程：
Finish DataBlock–&Encoding DataBlock(FAST_DIFF\PREFIX\PREFIX_TRIE\DIFF)—&Compression DataBlock(LZO\GZ) —&Flush到磁盘。
如果Encoding和Compression的方式都设置NONE，中间的过程即可忽略。
2、相关测试
weibo-new使用的NONE、NONE
weibo_test使用的LZO、FAST_DIFF
weibo_diff使用了FAST_DIFF
weibo_lzo使用了LZO压缩
1、测试 扫描的效率:
weibo_test
weibo_diff
结果分析：
使用LZO压缩或者FAST_DIFF的编码，扫描时造成大概一倍的开销
这个原因在于：在当前存储容量下，网络IO不是瓶颈，使用基本配置weibo-new吞吐量达到了45.68MB/s，而使用LZO压缩，显然经过一次或者两次解码之后，消耗了一些CPU时间片，从而耗时较长。
2、随机读的效率，采用单条随机的办法
首先scan出所有的Row，然后，使用shuf -n1000000 /tmp/row 随机取出1000000个row，然后按照单线程随机读的方式获取。
ps：每个Record有3个ColumnFamily，共有31个Column。
weibo_test
122min12s, 平均7.3ms/Record
68min40s， 平均3.99ms/Record
83m26.539s， 平均5.00ms/Record
weibo_diff
58m5.915s,
平均3.48ms/Record
结果分析：
1）LZO解压缩的效率低于反解码的效率，在不以存储代价为第一考虑的情况下，优先选择FAST_DIFF编码方式。
2）LZO随机读会引起 hbase内部更多的读开销。下图在读取同样数据过程中，通过对于RegionServer上scanner采集到的读取个数，lzo明显代价较大。
3）在数据量不超过1T，并且HBase集群内存可以完全cover住整个Cache的情况下，可以不做压缩或者编码的设置，一般带有ROWCOL的bloomfilter基本就可以达到系统最佳的状态。如果数据远远大于Cache总量的10倍以上，优先使用编码方案(FAST_DIFF或者0.96引入的PREFIX_TRIE)
3、随机写的效率，采用批量写。批量个数为100
weibo_test
571670ms， 66us/Put, 6.61ms/batch
329694ms，38.12us/Put,
3.81ms/batch
295770ms, 34.23us/Put, 3.42ms/batch
weibo_diff
250399ms, 28.97us/Put,2.90ms/batch
lz vs diff 写操作的集群吞吐图(两者开始执行的时间起点不同， 绿线代表weibo_diff、红线是weibo_lzo)
1）批量写操作，使用FAST_DIFF编码的开销最小，性能比不做任何配置(weibo-new)有24%提升。
2）使用diff，lzo双重配置，批量写操作有较大开销，并且压缩没有比单独使用LZO压缩有明显提升，所以不建议同时使用。
3、总体结论分析
1）在column较多、并且value较短的情况下，使用FAST_DIFF可以获得较好的压缩空间以及较优的读写延迟。推荐使用。
2）在对于存储空间比较紧缺的应用，单独使用LZO压缩，可以在牺牲一些随机读的前提下获得较高的空间压缩率(5：1)。
备注：本系列文章属于在个人技术博客原创，原文链接为 ，未经允许，不得在网上转载。
From , post
文章的脚注信息由WordPress的自动生成
Copyright & 2008 This feed is for personal, non-commercial use only.
The use of this feed on other websites breaches copyright. If this content is not in your news reader, it makes the page you are viewing an infringement of the copyright. (Digital Fingerprint: )
平静的力量
原文地址：, 感谢原作者分享。
您可能感兴趣的代码psp6.61已经完美破解得还可以用这个6.61 pro-c Infinity刷机吗_百度知道
psp6.61已经完美破解得还可以用这个6.61 pro-c Infinity刷机吗
我有更好的答案
进入应用程序--开发--打开USB调试。2.线刷rom包。3.刷机工具包odin后解压。4.关机，然后同时按住下音量下键 + HOME键 + 电源键，等待3秒，出现英文界面。按音量上键，进入界面为绿色机器人，此为刷机模式。5.打开odin刷机工具，识别成功在ID：COM处显示黄色，选择对应的刷机包文件。6.选择start(开始)。7.电脑端左上角出现绿色进度条为刷机中。8.出现PASS即表示刷机完成。9.关机，同时按住（音量上键+HOME键+电源键）5秒左右进入3E模式。10.按电源键开机，刷机完成。
采纳率：94%
来自团队：
为您推荐：
其他类似问题
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。6.61infinity固化降级6.20【pspgo吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0可签7级以上的吧50个
本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：6,246贴子：
6.61infinity固化降级6.20
对于6.61infinity固化，坑唉。。。d(?д??)
后悔药还是有的。以下我会尽可能详细的讲。！！！！！降级有风险变砖的！！！！！
以下电脑操作：
准备降级工具Chronoswitch Downgrader7.0汉化版（记住啊固化需要专用的降级工具，一定要用我下面提供的降级工具，其他的有可能变砖≥﹏≤），PSP GO6.20固件。1：连接PSP GO，打开usb连接，首先解压缩工具Chronoswitch Downgrader7.0汉化版，把Downgrader文件夹直接放入PSP/GAME文件夹。在PSP/GAME文件夹新建一个UPDATE的文件夹，把下载好的固件命名为EBOOT.PBP放入新建的UPDATE文件夹。以下PSP GO操作2：断开连接，打开Downgrader工具，就是那个有个两个循环箭头包围6.20图标的，稍等它检测一下系统，之后会要你按o还是x，按x是确认降级，它会再次强调是否降级，再按x，之后来到6.20升级界面，直接升级啦(ノ?`???)ノ︵?
总之，失败的童鞋们，请仔细检查以上步骤是否有遗漏的呢？比如固件有没有重命名为EBOOT.PBP？降级时按了其他的键？
降级工具和6.20固件
总之降级并没有那么难，只要上面的步骤没有遗漏出错就一定可以做到的。
非常感谢楼主，我的PSP go就用这个工具和办法，我试了很多次，不管在pro-c破解模式，还是按home直接进入纯净的infinity系统，都提示caafffffcf7，系统不需要降级。大神们帮我看看，究竟是什么原因呢，谢谢。
赶上直播了，正好自己的6.35降级报错，也来试试，感谢分享
psp3000能用？
先顶贴留记号！收到PSPGO就来刷！
楼主，问下，那我6.35可以先升6.61再按你的方法降级吗
楼主 请教661的固化怎么坑了(?д??)
为啥坑了，不好用？
620系统那玩620以上的游戏会怎么样
刚刚入手白色小go，原来是6.60 pro系统，先升级官方6.61系统，一键破解，然后按照楼主的教程降级成功，现在为6.20 pro c常驻固件。感谢楼主！
6.20破解程序哪里下载啊~~~~~~~~~~~~~~~~
多谢成功楼主好人，我6.61官方系统也成功降级了
你好。psp go 6.35可以用你的工具降级6.20吗？
感谢楼主。。。。哭了。。。全世界都找不到6.20的 pspgo 固件。。。。总算找到了
楼主。我现在刷了6.20pro-c:2.我也是pspgo，按下ps键，选择游戏暂停，结果机子直接待机了.暂停功能为什么不能用啊？.另外，楼主有没有pro-c3的刷机包呀
头像咬人猫
楼主问下6.20的文件放那个文件夹里啊？
哦，6.20要破解了才可以玩iso的游戏吗？
今天把635升到661了，然后再用这个工具降，还是一样的报错。换了660的固件可降，620的则不行。主板05g不是最后出场的机子，怎么会出现这样的情况啊？想降回635都没有固件包了只能待在660系统了
反馈一下，6.61 pro-c 也可用， 已成功降级6.2
lz我是6.39 pro_c先格式化，再升6.61就可以降了吧？
为什么要降级？
按完X最后显示已经安装了更新的系统数据。不需要进行升级。（CAAFFFFFCF7）
怎么办啊楼主，在线等
心疼楼主，被挖了出来
亲测，该固化可降级，如果出厂系统不是6.20固化的是降不到6.20，但可降至出厂时的固化。本人刚收了台05G的GO是6.35的，升到6.61后降不了6.20（显示为已经安装了更新的系统数据。不需要进行升级。（CAAFFFFFCF7）），只能又降回到6.35。
终于找到了
挖了一手好坟
贴吧热议榜
使用签名档&&
保存至快速回贴【图片】【福利贴】15个PSPptf主题＋59个ct动态f主题打包下载【psp吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0可签7级以上的吧50个
本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：539,838贴子：
【福利贴】15个PSPptf主题＋59个ct动态f主题打包下载
还记得曾经晚上躲在被窝里偷偷玩着小p的日子吗？那时小p带给我们很多欢乐，小p也陪伴我们走过了许多的点点滴滴。如今你的小p或许已经放在了柜子里，或者，他任然还那样陪伴着你，但是他带给我们的快乐是我们忘记不了的，现在，小p的游戏在手机上也能运行了，除了手感其他的应该都还算勉强，小p为你劳累这么久，我们是否应该美化装饰一下自己的小p呢？效果图镇楼
楼主昨天找了一天(实在太难了，不好找，好多链接都失效了)找到的PSPptf主题15个＋59个ctf动态主题打包下载，不算多，希望大家能够喜欢，如果还有主题的吧友们，请互相分享一下哦，希望大家把自己珍藏的主题分享一下，感谢了！
以上的效果图都是ptf的主题，不是动态的，首先声明楼主用的破解版百度云，不能分享。要的希望留下邮箱，楼主一个一个发，
授人与鱼不如授人与渔建议增加工具cxmb最新版（兼容6.61）解包打包转系统工具（兼容6.61），这个我是真没找到兼容6.61的。。
顶一下，有没有特殊电量条的
以上是动态主题的演示，楼主刚下好。还没用59个也就不用一一演示了，希望大家下载好自己去看看
首先得提醒广大玩家一下，ctf动态主题需要插件，插件请对应你们的系统版本下载，以免出现其他情况！！！下载的话，百度一下cxmb就行了，安装插件也很简单，具体方法可以百度，因为我觉得其他的文字教程和图文教程没有百度上的详细。
索尼已经关闭了PSP的psn服务，一个时代的落幕将会是另一个时代的崛起。希望以后得PSV发展的好，以下需要的留邮箱，
以下是百度云资源。由于百度云不能分享所以改邮箱了，需要的请留言
没人要吗？
傍晚在小区散步，看到一个老奶奶不小心把拐杖掉在了地上，费了好大力气也没能捡起来。这时老奶奶看到了我，她连忙说：“孩子，我年纪大了，弯不下腰，你帮帮忙吧。“ 我说：“没问题！” 说完，双手摁住老奶奶的头，用力把她的腰压弯了下去。、
这个是ptf的使用教程
这个是ctf动态的
。 lz好人～
59个主题是打包下载的，直接解压就可以
在这里反馈一个bug(也不算bug吧，)这个黑岩射手的主题你用了以后可能会因为切换不了主题而烦恼，想尽办法换都不行，，即使是关闭了插件，在这里给大家说一下，这个主题本身设计就是这样的，你只需要点击主题那里，上下切换成其他的(随便一个都可以)然后按圆圈就行了，这样就可以换成其他的了，以免有吧友认为是bug，或者主题的问题
这个就是那个黑岩射手的bug主题，他的bug其实也就是把右边的那些小图标弄成透明的了
好人一生平安
谢谢楼主！找了好久！！
发静态的吧。动态什么的怎么用啊？有教程吗
贴吧热议榜
使用签名档&&
保存至快速回贴psp6.61装了游戏装在iso包里玩不了什么原因_百度知道
psp6.61装了游戏装在iso包里玩不了什么原因
我有更好的答案
你可能两种情况。没正常刷机。还有一个是你不会使用游戏文件（需要解压成为后缀是iso的镜像文件。放到根目录里面的iso文件夹里面）
采纳率：72%
来自团队：
游戏显示出来了吗，确定刷机了吗如果不是那就是游戏问题了
照个片看看，刷机百度6.61怎么刷机，这个系统好像是完美破解了
为您推荐：
其他类似问题
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。