redis-cluster研究和使用
最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后，换掉memCache 集群. 转载请注明出处哈:/admin/blogs/2050676一:关于redis cluster1:redis cluster的现状reids-cluster计划在redis3.0中推出，可以看作者antirez的声明:/news/49&(ps:跳票了好久，今年貌似加快速度了),目前的最新版本见:/antirez/redis/3.0/00-RELEASENOTES作者的目标:Redis Cluster will support&up to&~1000 nodes. 赞...目前redis支持的cluster特性(已测试):1):节点自动发现2):slave-&master 选举,集群容错3):Hot resharding:在线分片4):集群管理:cluster xxx5):基于配置(nodes-port.conf)的集群管理6):ASK 转向/MOVED 转向机制.2:redis cluster 架构1)redis-cluster架构图&架构细节:(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node&-&slot&-&key2) redis-cluster选举:容错&(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.(2):什么时候整个集群不可用(cluster_state:fail)?&& & a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.& & b:如果集群超过半数以上master挂掉，无论是否有slave集群进入fail状态.& ps:当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误二:redis cluster的使用1:安装redis cluster1):安装redis-cluster依赖:redis-cluster的依赖库在使用时有兼容问题,在reshard时会遇到各种错误,请按指定版本安装.(1)确保系统安装zlib,否则gem install会报(no such file to load -- zlib)Java代码 &#download:zlib-1.2.6.tar&&./configure&&make&&make&install&&&(2)安装ruby:version(1.9.2)Java代码 &#&ruby1.9.2&&&cd&/path/ruby&&./configure&-prefix=/usr/local/ruby&&make&&make&install&&sudo&cp&ruby&/usr/local/bin&&(3)安装rubygem:version(1.8.16)Java代码 &#&rubygems-1.8.16.tgz&&cd&/path/gem&&sudo&ruby&setup.rb&&sudo&cp&bin/gem&/usr/local/bin&&(4)安装gem-redis:version(3.0.0)Java代码 &gem&install&redis&--version&3.0.0&&#由于源的原因，可能下载失败，就手动下载下来安装&&#download地址:http://rubygems.org/gems/redis/versions/3.0.0&&gem&install&-l&/data/soft/redis-3.0.0.gem&&(5)安装redis-clusterJava代码 &cd&/path/redis&&make&&sudo&cp&/opt/redis/src/redis-server&/usr/local/bin&&sudo&cp&/opt/redis/src/redis-cli&/usr/local/bin&&sudo&cp&/opt/redis/src/redis-trib.rb&/usr/local/bin&&&2:配置redis cluster1)redis配置文件结构:&使用包含(include)把通用配置和特殊配置分离,方便维护.2)redis通用配置.Java代码 &#GENERAL&&daemonize&no&&tcp-backlog&511&&timeout&0&&tcp-keepalive&0&&loglevel&notice&&databases&16&&dir&/opt/redis/data&&slave-serve-stale-data&yes&&#slave只读&&slave-read-only&yes&&#not&use&default&&repl-disable-tcp-nodelay&yes&&slave-priority&100&&#打开aof持久化&&appendonly&yes&&#每秒一次aof写&&appendfsync&everysec&&#关闭在aof&rewrite的时候对新的写操作进行fsync&&no-appendfsync-on-rewrite&yes&&auto-aof-rewrite-min-size&64mb&&lua-time-limit&5000&&#打开redis集群&&cluster-enabled&yes&&#节点互连超时的阀值&&cluster-node-timeout&15000&&cluster-migration-barrier&1&&slowlog-log-slower-than&10000&&slowlog-max-len&128&&notify-keyspace-events&&&&&hash-max-ziplist-entries&512&&hash-max-ziplist-value&64&&list-max-ziplist-entries&512&&list-max-ziplist-value&64&&set-max-intset-entries&512&&zset-max-ziplist-entries&128&&zset-max-ziplist-value&64&&activerehashing&yes&&client-output-buffer-limit&normal&0&0&0&&client-output-buffer-limit&slave&256mb&64mb&60&&client-output-buffer-limit&pubsub&32mb&8mb&60&&hz&10&&aof-rewrite-incremental-fsync&yes&&3)redis特殊配置.Java代码 &#包含通用配置&&include&/opt/redis/redis-common.conf&&#监听tcp端口&&port&6379&&#最大可用内存&&maxmemory&100m&&#内存耗尽时采用的淘汰策略:&&#&volatile-lru&-&&remove&the&key&with&an&expire&set&using&an&LRU&algorithm&&#&allkeys-lru&-&&remove&any&key&accordingly&to&the&LRU&algorithm&&#&volatile-random&-&&remove&a&random&key&with&an&expire&set&&#&allkeys-random&-&&remove&a&random&key,&any&key&&#&volatile-ttl&-&&remove&the&key&with&the&nearest&expire&time&(minor&TTL)&&#&noeviction&-&&don't&expire&at&all,&just&return&an&error&on&write&operations&&maxmemory-policy&allkeys-lru&&#aof存储文件&&appendfilename&&appendonly-6379.aof&&&#不开启rdb存储,只用于添加slave过程&&dbfilename&dump-6379.rdb&&#cluster配置文件(启动自动生成)&&cluster-config-file&nodes-6379.conf&&#部署在同一机器的redis实例，把auto-aof-rewrite搓开，因为cluster环境下内存占用基本一致.&&#防止同意机器下瞬间fork所有redis进程做aof&rewrite,占用大量内存(ps:cluster必须开启aof)&&auto-aof-rewrite-percentage&80-100&&3:cluster 操作cluster集群相关命令,更多redis相关命令见文档:http://redis.readthedocs.org/en/latest/&Java代码 &集群&&CLUSTER&INFO&打印集群的信息&&CLUSTER&NODES&列出集群当前已知的所有节点（node），以及这些节点的相关信息。&&节点&&CLUSTER&MEET&&ip&&&port&&将&ip&和&port&所指定的节点添加到集群当中，让它成为集群的一份子。&&CLUSTER&FORGET&&node_id&&从集群中移除&node_id&指定的节点。&&CLUSTER&REPLICATE&&node_id&&将当前节点设置为&node_id&指定的节点的从节点。&&CLUSTER&SAVECONFIG&将节点的配置文件保存到硬盘里面。&&槽(slot)&&CLUSTER&ADDSLOTS&&slot&&[slot&...]&将一个或多个槽（slot）指派（assign）给当前节点。&&CLUSTER&DELSLOTS&&slot&&[slot&...]&移除一个或多个槽对当前节点的指派。&&CLUSTER&FLUSHSLOTS&移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。&&CLUSTER&SETSLOT&&slot&&NODE&&node_id&&将槽&slot&指派给&node_id&指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽&，然后再进行指派。&&CLUSTER&SETSLOT&&slot&&MIGRATING&&node_id&&将本节点的槽&slot&迁移到&node_id&指定的节点中。&&CLUSTER&SETSLOT&&slot&&IMPORTING&&node_id&&从&node_id&指定的节点中导入槽&slot&到本节点。&&CLUSTER&SETSLOT&&slot&&STABLE&取消对槽&slot&的导入（import）或者迁移（migrate）。&&键&&CLUSTER&KEYSLOT&&key&&计算键&key&应该被放置在哪个槽上。&&CLUSTER&COUNTKEYSINSLOT&&slot&&返回槽&slot&目前包含的键值对数量。&&CLUSTER&GETKEYSINSLOT&&slot&&&count&&返回&count&个&slot&槽中的键。&&&4:redis cluster 运维操作1)初始化并构建集群(1)启动集群相关节点（必须是空节点,beta3后可以是有数据的节点）,指定配置文件和输出日志&Java代码 &redis-server&/opt/redis/conf/redis-6380.conf&&&/opt/redis/logs/redis-6380.log&2&&1&&&&redis-server&/opt/redis/conf/redis-6381.conf&&&/opt/redis/logs/redis-6381.log&2&&1&&&&redis-server&/opt/redis/conf/redis-6382.conf&&&/opt/redis/logs/redis-6382.log&2&&1&&&&redis-server&/opt/redis/conf/redis-7380.conf&&&/opt/redis/logs/redis-7380.log&2&&1&&&&redis-server&/opt/redis/conf/redis-7381.conf&&&/opt/redis/logs/redis-7381.log&2&&1&&&&redis-server&/opt/redis/conf/redis-7382.conf&&&/opt/redis/logs/redis-7382.log&2&&1&&&&&(2):使用自带的ruby工具(redis-trib.rb)构建集群&Java代码 &#redis-trib.rb的create子命令构建&&#--replicas&则指定了为Redis&Cluster中的每个Master节点配备几个Slave节点&&#节点角色由顺序决定,先master之后是slave(为方便辨认,slave的端口比master大1000)&&redis-trib.rb&create&--replicas&1&10.10.34.14:6380&10.10.34.14:6381&10.10.34.14:6382&10.10.34.14:7380&10.10.34.14:7381&10.10.34.14:7382&&(3):检查集群状态Java代码 &#redis-trib.rb的check子命令构建&&#ip:port可以是集群的任意节点&&redis-trib.rb&check&10.10.34.14:6380&&&最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态Java代码 &[OK]&All&nodes&agree&about&slots&configuration.&&&&&&Check&for&open&slots...&&&&&&Check&slots&coverage...&&[OK]&All&16384&slots&covered.&&2):添加新master节点(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预a):根据端口生成配置文件(ps:establish_config.sh是我自己写的输出配置脚本)&Java代码 &sh&establish_config.sh&6386&&&conf/redis-6386.conf&&&b):启动节点&Java代码 &redis-server&/opt/redis/conf/redis-6386.conf&&&/opt/redis/logs/redis-6386.log&2&&1&&&&c):加入空节点到集群add-node &将一个节点添加到集群里面，&第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port&Java代码 &redis-trib.rb&add-node&10.10.34.14:6386&10.10.34.14:6381&&node:新节点没有包含任何数据， 因为它没有包含任何slot。新加入的加点是一个主节点， 当集群需要将某个从节点升级为新的主节点时， 这个新节点不会被选中，同时新的主节点因为没有包含任何slot，不参加选举和failover。&d):为新节点分配slot&Java代码 &redis-trib.rb&reshard&10.10.34.14:6386&&#根据提示选择要迁移的slot数量(ps:这里选择500)&&How&many&slots&do&you&want&to&move&(from&1&to&16384)?&500&&#选择要接受这些slot的node-id&&What&is&the&receiving&node&ID?&f51e26b5d5ff74ff125b7254e61bf&&#选择slot来源:&&#all表示从所有的master重新分配，&&#或者数据要提取slot的master节点id,最后用done结束&&Please&enter&all&the&source&node&IDs.&&&&Type&'all'&to&use&all&the&nodes&as&source&nodes&for&the&hash&slots.&&&&Type&'done'&once&you&entered&all&the&source&nodes&IDs.&&Source&node&#1:all&&#打印被移动的slot后，输入yes开始移动slot以及对应的数据.&&#Do&you&want&to&proceed&with&the&proposed&reshard&plan&(yes/no)?&yes&&#结束&&3):添加新的slave节点a):前三步操作同添加master一样b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id&Java代码 &cluster&replicate&2b9ebcbd627ff0fd7a7bbcc88835&&&注意:在线添加slave 时，需要bgsave整个master数据，并传递到slave，再由 slave加载rdb文件到内存，rdb生成和传输的过程中消耗Master大量内存和网络IO,以此不建议单实例内存过大，线上小心操作。例如本次添加slave操作产生的rdb文件&Java代码 &-rw-r--r--&1&root&root&&34946&Apr&17&18:23&dump-6386.rdb&&-rw-r--r--&1&root&root&&34946&Apr&17&18:23&dump-7386.rdb&&4):在线reshard 数据:对于负载/数据不均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是已存在的老节点.5):删除一个slave节点Java代码 &#redis-trib&del-node&ip:port&'&node-id&'&&redis-trib.rb&del-node&10.10.34.14:7386&'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378'&&&6):删除一个master节点& a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点& & &(目前redis-trib.rb只能把被删除master的slot对应的数据迁移到一个节点上)&Java代码 &#把10.10.34.14:6386当前master迁移到10.10.34.14:6380上&&redis-trib.rb&reshard&10.10.34.14:6380&&#根据提示选择要迁移的slot数量(ps:这里选择500)&&How&many&slots&do&you&want&to&move&(from&1&to&16384)?&500(被删除master的所有slot数量)&&#选择要接受这些slot的node-id(10.10.34.14:6380)&&What&is&the&receiving&node&ID?&c4a31c852fbcd6d1b13accdc947fd2&(ps:10.10.34.14:6380的node-id)&&Please&enter&all&the&source&node&IDs.&&&&Type&'all'&to&use&all&the&nodes&as&source&nodes&for&the&hash&slots.&&&&Type&'done'&once&you&entered&all&the&source&nodes&IDs.&&Source&node&#1:f51e26b5d5ff74ff125b7254e61bf(被删除master的node-id)&&Source&node&#2:done&&#打印被移动的slot后，输入yes开始移动slot以及对应的数据.&&#Do&you&want&to&proceed&with&the&proposed&reshard&plan&(yes/no)?&yes&&&b):删除空master节点&Java代码 &redis-trib.rb&del-node&10.10.34.14:6386&'f51e26b5d5ff74ff125b7254e61bf'&&三:redis cluster 客户端(Jedis)1:客户端基本操作使用&Java代码 &&span&style=&font-size:&16&&&private&static&BinaryJedisCluster&&&&&static&{&&&&&&&&&//只给集群里一个实例就可以&&&&&&&&&&Set&HostAndPort&&jedisClusterNodes&=&new&HashSet&HostAndPort&();&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&6380));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&6381));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&6382));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&6383));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&6384));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&7380));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&7381));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&7382));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&7383));&&&&&&&&&&jedisClusterNodes.add(new&HostAndPort(&10.10.34.14&,&7384));&&&&&&&&&&jc&=&new&BinaryJedisCluster(jedisClusterNodes);&&&&&&}&&@Test&&&&&&public&void&testBenchRedisSet()&throws&Exception&{&&&&&&&&&&final&Stopwatch&stopwatch&=&new&Stopwatch();&&&&&&&&&&List&list&=&buildBlogVideos();&&&&&&&&&&for&(int&i&=&0;&i&&&1000;&i++)&{&&&&&&&&&&&&&&String&key&=&&key:&&+&i;&&&&&&&&&&&&&&stopwatch.start();&&&&&&&&&&&&&&byte[]&bytes1&=&protostuffSerializer.serialize(list);&&&&&&&&&&&&&&jc.setex(key,&60&*&60,&bytes1);&&&&&&&&&&&&&&stopwatch.stop();&&&&&&&&&&}&&&&&&&&&&System.out.println(&time=&&+&stopwatch.toString());&&&&&&}&/span&&&2:redis-cluster客户端的一些坑.1)cluster环境下slave默认不接受任何读写操作，在slave执行readonly命令后，可执行读操作2)client端不支持多key操作(mget,mset等)，但当keys集合对应的slot相同时支持mget操作见:hash_tag3)不支持多数据库，只有一个db，select 0。4)JedisCluster&没有针对byte[]的API，需要自己扩展(附件是我加的基于byte[]的BinaryJedisCluster &api)目前&Jedis-3.0.0-SNAPSHOT&已支持BinaryJedisCluster和基于hash_tag的mget操作.&&参考文档:http://redis.io/topics/cluster-spechttp://redis.io/topics/cluster-tutorialjedis-2.5.0-sohu-537-2-sources.jar (115.2 KB)下载次数: 799jedis-2.5.0-sohu-537-2.jar (342.8 KB)下载次数: 507查看图片附件
最新教程周点击榜
微信扫一扫redis-cluster研究和使用
转载请注明出处:/admin/blogs/2050676
最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后，换掉memCache 集群. 一:关于redis cluster
1:redis cluster的现状
reids-cluster计划在redis3.0中推出，可以看作者antirez的声明:/news/49&(ps:跳票了好久，今年貌似加快速度了),目前的最新版本是redis3 beta2(2.9.51).
作者的目标:Redis Cluster will support&up to&~1000 nodes. 赞...
目前redis支持的cluster特性(已亲测):
1):节点自动发现
2):slave-&master 选举,集群容错
3):Hot resharding:在线分片
4):进群管理:cluster xxx
5):基于配置(nodes-port.conf)的集群管理
6):ASK 转向/MOVED 转向机制.
2:redis cluster 架构
1)redis-cluster架构图
(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.
(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node&-&slot&-&value
2) redis-cluster选举:容错
(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.
(2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误
& & a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射[0-16383]不完成时进入fail状态.
& & b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态. 二:redis cluster的使用
1:安装redis cluster
1):安装redis-cluster依赖:redis-cluster的依赖库在使用时有兼容问题,在reshard时会遇到各种错误,请按指定版本安装.
(1)确保系统安装zlib,否则gem install会报(no such file to load -- zlib)
#download:zlib-1.2.6.tar
./configure
make install &&
&(1)安装ruby:version(1.9.2)
# ruby1.9.2
cd /path/ruby
./configure -prefix=/usr/local/ruby
make install
sudo cp ruby /usr/local/bin &
(2)安装rubygem:version(1.8.16)
# rubygems-1.8.16.tgz
cd /path/gem
sudo ruby setup.rb
sudo cp bin/gem /usr/local/bin &
(3)安装gem-redis:version(3.0.0)
gem install redis --version 3.0.0
#由于源的原因，可能下载失败，就手动下载下来安装
#download地址:http://rubygems.org/gems/redis/versions/3.0.0
gem install -l /data/soft/redis-3.0.0.gem &
2)安装redis-cluster
cd /path/redis
sudo cp /opt/redis/src/redis-server /usr/local/bin
sudo cp /opt/redis/src/redis-cli /usr/local/bin
sudo cp /opt/redis/src/redis-trib.rb /usr/local/bin
2:配置redis cluster
1)redis配置文件结构:
&使用包含(include)把通用配置和特殊配置分离,方便维护.
2)redis通用配置.
daemonize no
tcp-backlog 511
tcp-keepalive 0
loglevel notice
databases 16
dir /opt/redis/data
slave-serve-stale-data yes
#slave只读
slave-read-only yes
#not use default
repl-disable-tcp-nodelay yes
slave-priority 100
#打开aof持久化
appendonly yes
#每秒一次aof写
appendfsync everysec
#关闭在aof rewrite的时候对新的写操作进行fsync
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
#打开redis集群
cluster-enabled yes
#节点互连超时的阀值
cluster-node-timeout 15000
cluster-migration-barrier 1
slowlog-log-slower-than 10000
slowlog-max-len 128
notify-keyspace-events &&
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
aof-rewrite-incremental-fsync yes &
3)redis特殊配置.
#包含通用配置
include /opt/redis/redis-common.conf
#监听tcp端口
#最大可用内存
maxmemory 100m
#内存耗尽时采用的淘汰策略:
# volatile-lru -& remove the key with an expire set using an LRU algorithm
# allkeys-lru -& remove any key accordingly to the LRU algorithm
# volatile-random -& remove a random key with an expire set
# allkeys-random -& remove a random key, any key
# volatile-ttl -& remove the key with the nearest expire time (minor TTL)
# noeviction -& don't expire at all, just return an error on write operations
maxmemory-policy allkeys-lru
#aof存储文件
appendfilename &appendonly-6379.aof&
#rdb文件,只用于动态添加slave过程
dbfilename dump-6379.rdb
#cluster配置文件(启动自动生成)
cluster-config-file nodes-6379.conf &
3:cluster 操作
cluster集群相关命令,更多redis相关命令见文档:http://redis.readthedocs.org/en/latest/
CLUSTER INFO 打印集群的信息
CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。
CLUSTER MEET &ip& &port& 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。
CLUSTER FORGET &node_id& 从集群中移除 node_id 指定的节点。
CLUSTER REPLICATE &node_id& 将当前节点设置为 node_id 指定的节点的从节点。
CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。
CLUSTER ADDSLOTS &slot& [slot ...] 将一个或多个槽（slot）指派（assign）给当前节点。
CLUSTER DELSLOTS &slot& [slot ...] 移除一个或多个槽对当前节点的指派。
CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。
CLUSTER SETSLOT &slot& NODE &node_id& 将槽 slot 指派给 node_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽&，然后再进行指派。
CLUSTER SETSLOT &slot& MIGRATING &node_id& 将本节点的槽 slot 迁移到 node_id 指定的节点中。
CLUSTER SETSLOT &slot& IMPORTING &node_id& 从 node_id 指定的节点中导入槽 slot 到本节点。
CLUSTER SETSLOT &slot& STABLE 取消对槽 slot 的导入（import）或者迁移（migrate）。
CLUSTER KEYSLOT &key& 计算键 key 应该被放置在哪个槽上。
CLUSTER COUNTKEYSINSLOT &slot& 返回槽 slot 目前包含的键值对数量。
CLUSTER GETKEYSINSLOT &slot& &count& 返回 count 个 slot 槽中的键。 &
4:redis cluster 运维操作
1)初始化并构建集群
(1)#启动集群相关节点（必须是空节点）,指定配置文件和输出日志
nohup redis-server /opt/redis/conf/redis-6380.conf & /opt/redis/logs/redis-6380.log 2&&1 &
nohup redis-server /opt/redis/conf/redis-6381.conf & /opt/redis/logs/redis-6381.log 2&&1 &
nohup redis-server /opt/redis/conf/redis-6382.conf & /opt/redis/logs/redis-6382.log 2&&1 &
nohup redis-server /opt/redis/conf/redis-7380.conf & /opt/redis/logs/redis-7380.log 2&&1 &
nohup redis-server /opt/redis/conf/redis-7381.conf & /opt/redis/logs/redis-7381.log 2&&1 &
nohup redis-server /opt/redis/conf/redis-7382.conf & /opt/redis/logs/redis-7382.log 2&&1 &
(2):使用自带的ruby工具(redis-trib.rb)构建集群
#redis-trib.rb的create子命令构建
#--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点
#节点角色由顺序决定,先master之后是slave(为方便辨认,slave的端口比master大1000)
redis-trib.rb create --replicas 1 10.10.34.14:.34.14:.34.14:.34.14:.34.14:.34.14:7382 &
(3):检查集群状态,
#redis-trib.rb的check子命令构建
#ip:port可以是集群的任意节点
redis-trib.rb check 1 10.10.34.14:6380 &最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态
[OK] All nodes agree about slots configuration.
&&& Check for open slots...
&&& Check slots coverage...
[OK] All 16384 slots covered.
2):添加新master节点
(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预
a):根据端口生成配置文件(ps:establish_config.sh是我自己写的输出配置脚本)
sh establish_config.sh 6386 & conf/redis-6386.conf &
b):启动节点
nohup redis-server /opt/redis/conf/redis-6386.conf & /opt/redis/logs/redis-6386.log 2&&1 &
c):加入空节点到集群add-node &将一个节点添加到集群里面，&第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port
redis-trib.rb add-node 10.10.34.14:.34.14:6381 &
node:新节点没有包含任何数据， 因为它没有包含任何slot。新加入的加点是一个主节点， 当集群需要将某个从节点升级为新的主节点时， 这个新节点不会被选中
d):为新节点分配slot
redis-trib.rb reshard 10.10.34.14:6386
#根据提示选择要迁移的slot数量(ps:这里选择500)
How many slots do you want to move (from 1 to 16384)? 500
#选择要接受这些slot的node-id
What is the receiving node ID? f51e26b5d5ff74ff125b7254e61bf
#选择slot来源:
#all表示从所有的master重新分配，
#或者数据要提取slot的master节点id,最后用done结束
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1:all
#打印被移动的slot后，输入yes开始移动slot以及对应的数据.
#Do you want to proceed with the proposed reshard plan (yes/no)? yes
3):添加新的slave节点
a):前三步操作同添加master一样
b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id
cluster replicate 2b9ebcbd627ff0fd7a7bbcc88835 &
note:在线添加slave 时，需要dump整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作.
例如本次添加slave操作产生的rdb文件
-rw-r--r-- 1 root root
34946 Apr 17 18:23 dump-6386.rdb
-rw-r--r-- 1 root root
34946 Apr 17 18:23 dump-7386.rdb
4):在线reshard 数据:
对于负载/数据均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点.
5):删除一个slave节点
#redis-trib del-node ip:port '&node-id&'
redis-trib.rb del-node 10.10.34.14:7386 'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378' &6):删除一个master节点
a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除
master的slot迁移到一个节点上)
#把10.10.34.14:6386当前master迁移到10.10.34.14:6380上
redis-trib.rb reshard 10.10.34.14:6380
#根据提示选择要迁移的slot数量(ps:这里选择500)
How many slots do you want to move (from 1 to 16384)? 500(被删除master的所有slot数量)
#选择要接受这些slot的node-id(10.10.34.14:6380)
What is the receiving node ID? c4a31c852fbcd6d1b13accdc947fd2 (ps:10.10.34.14:6380的node-id)
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1:f51e26b5d5ff74ff125b7254e61bf(被删除master的node-id)
Source node #2:done
#打印被移动的slot后，输入yes开始移动slot以及对应的数据.
#Do you want to proceed with the proposed reshard plan (yes/no)? yes &
b):删除空master节点
redis-trib.rb del-node 10.10.34.14:6386 'f51e26b5d5ff74ff125b7254e61bf'
三:redis cluster 客户端(Jedis)
1:客户端基本操作使用
private static BinaryJedisC static { //只给集群里一个实例就可以 Set&HostAndPort& jedisClusterNodes = new HashSet&HostAndPort&(); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 6380)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 6381)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 6382)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 6383)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 6384)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 7380)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 7381)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 7382)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 7383)); jedisClusterNodes.add(new HostAndPort(&10.10.34.14&, 7384)); jc = new BinaryJedisCluster(jedisClusterNodes); } @Test public void testBenchRedisSet() throws Exception { final Stopwatch stopwatch = new Stopwatch(); List list = buildBlogVideos(); for (int i = 0; i & 1000; i++) { String key = &key:& + stopwatch.start(); byte[] bytes1 = protostuffSerializer.serialize(list); jc.setex(key, 60 * 60, bytes1); stopwatch.stop(); } System.out.println(&time=& + stopwatch.toString()); }
2:jedis客户端的坑.
1)cluster环境下redis的slave不接受任何读写操作，
2)client端不支持keys批量操作,不支持select dbNum操作，只有一个db:select 0
3)JedisCluster 的info()调用返回(No way to dispatch this command to Redis Cluster)错误，无法获取实例状态报告.
4)JedisCluster&没有针对byte[]的API，需要自己扩展(附件是我加的基于byte[]的BinaryJedisCluster &api)
http://redis.io/topics/cluster-spec
http://redis.io/topics/cluster-tutorial
in 和 exists性能研究
原文引自：http://blog.csdn.net/nsj820/article/details/6606732 in 和exists 从sql编程角度来说，in直观，exists不直观多一个select；in可以用于各种子查询，而exists好像只适宜于关联子查询。 in 是把外表和内表作hash join，而exists是对外表作loop，每次loop再对
【IPhone开发】Delegate和ViewController的生命周期研究
ViewController的生命周期： ViewController第一次启动时，会调用viewDidLoad==&viewWillAppear==&shouldAutorotateToInterfaceOrientation 当屏幕关闭之后，会调用Delegate的applicationWillRe
JDBC驱动使用研究
java开源的JDBC驱动 http://www./65.htm
链接方式请参考jdbc connections
下面开始以SqlServer2005 为例举个例子
下载 Microsoft SQL Server JDBC Driver 2.0 下载地址
今天主要研究的是 &nbs
CHAR和VARCHAR使用原则
CHAR是固定长度，处理速度要比VARCHAR的要快，但是要浪费存储空间。随着MYSQL版本的不断升级，VARCHAR的处理速度也在提高，不同引擎对CHAR和VARCHAR的使用原则不同：
MyISAM：建议使用固定长度的数据列代替可变长度的
MEMORY：目前都使用固定长度进行存储，因此无论使用CHAR还是VARCHAR都没有关系，
ORACLE EXTRACT()和EXTRACTVALUE() 使用
create table t(text xmltype);
INSERT INTO t VALUES (XMLType.CreateXML( '&?xml version=&1.0&?& &fall& &name&dingjun123&lt
我参考了大量的文档和资料，并结合我的一些研究心得，完成的一篇比较完整的介绍和研究AOP技术的文章。本文共分为四部分：
2、 AOP技术基础 3、 Java平台AOP技术研究
4、 .Net平台AOP技术研究
rowid 和 rownum的使用
两者都是伪列, rowid 多用于
查找和删除重复记录 (1).适用于有大量重复记录的情况(列上建有索引的时候，用以下语句效率会很高)：
Delete empa Where ROWID Not In(Select Min(ROWID) From empa Group By empno); (2).
这篇文章讨论了Python的from &module& import *和from &package& import *，它们怎么执行以及为什么使用这种语法（也许）是一个坏主意。 从一个模块导入全部 from &module& import * means意味着“我希望能访问&module&中我有权限访问的全部名称”。例如以下代码something.
DatabaseMetaData和ResultSetMeta的使用
元数据，是指由一个Connection对象的情况下，分析数据库的所有信息，例如：数据库版本号、数据库有多少个数据库等等。 DatabaseMetaData: 数据库的信息 ResultSetMetaData: 说明数据结果集的信息
1、DataBaseMetaData
Class.forName(&com.mys
Oracle rownum原理和使用
在Oracle中，要按特定条件查询前N条记录，用个rownum就搞定了。 select * from emp where rownum &= 5 而且书上也告诫，不能对rownum用&&&，这也就意味着，如果你想用 select * from emp where rownum & 5 则是失败的。要知道为什么会失败，则需
Redis研究（二）—准备
一.安装Redis 安装Redis请看这里：http://blog.csdn.net/wtyvhreal/article/details/
二.启动和停止Redis
Redis可执行文件说明： redis-server
行列转换研究帖
http://topic.csdn.net/u//22e73f33-f071-46dc-b9bf-6f.html
Oracle中DUAL表的认识和使用
在Oracle中要完成表达式的计算，必须要使用系统表DUAL。如：select 1+1 执行出错：ERROR 位于第 1 行:ORA-00923: 未找到预期 FROM 关键字这表示查询表达式的结果，必须要使用FROM，而FROM后面跟的表，在Oracle中，通常就是DUAL表。 上面的代码改为：select 1+1返回：2
深入研究B树索引（一）
引用之：http://space.itpub.net/?uid-9842-action-viewspace-itemid-.B树索引的相关概念
索引与表一样，也属于段（segment）的一种。里面存放了用户的数据，跟表一样需要占用磁盘空间。只 不过，在索引里的数据存放形式与表里的数据存放形式非常的不一样。在理解索引时，可以想象一本书，其中书的内容就相
Redis研究（五）—列表类型
一、介绍 列表类型（list）可以存储一个有序的字符串列表，常用的操作是向列表两端添加元素或者获取列表的一个片段。
列表类型内部是使用双向链表实现的， 所以向列表两端添加元素的时间复杂度为O(1).获取越接近两端的元素速度越快。 所以不管原来有多少数据（无关），获取头部或者尾部的10条记录也是很快的。
不过使用链表的代价是通过索引访问元素比较慢。
Redis研究（六）—集合类型
一个集合类型（set）键可以存储至多2^32-1个字符串。
集合类型在Redis内部是使用值为空的散列表（hash table）实现的，所以操作的复杂度为O(1)。多个集合类型键之间还可以进行并集、交集和差集运算。
二、命令 1.增加/删除元素
sadd key member srem key member
sadd用来向集合中增加一个或者多
http和socket的使用场景 近来要做一个android项目，需要关乎网络的功能有
1，即时聊天
2，上传图片，视频
就这两个典型的功能
要使用socket还是http？顺被科普一下二者的使用场景（不要只说区别）
熟悉socket编程，也使用过xmpp协议写过即时通讯工具。
------解决思路---------------------- 你去看看amask的
Redis研究（一）—简介
Redis是一个开源的高性能键值对数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，并借助许多高层级的接口使其可以胜任如缓存、队列系统等不同的角色。 1.1历史和发展 2008年，意大利一家创业公司Merzia的创始人Salvatore Sanfilippo为了避免MySQL的低性能，亲自定做一个数据库，并于2009年开发完成，这个就是Red
birt 研究记录一
今天重新画了一张报表。在选中表格单元格，常规选项中的垂直对齐属性似乎无效了，无论我选居顶还是居中还是居下，文字都是靠在单元格的顶部。 于是开始搜索了。找了老半天不知道 为啥？记得以前画的报表这个属性是可以用的。于是把以前的拿来做对比了。
发现了一个问题 在属性常规下面 layout preference 选中 auto layout 后在试试就可以调整属性的垂直对齐了。
ubuntu android studio 配置和使用
Ubuntu 64位，Android studio 的安装，配置和使用 1 Download it. 2 设置环境变量： export ANDROID_STUDIO=/home/usrname/Documents/android-studio/bin export PATH=${ANDROID_STUDIO}:$PATH
mule3.4.0和Jdbc整合使用
在mule3.4.0中和jdbc的整合简单需求如下：向一个vm:queue发送map消息， mule根据map信息， 动态执行s
Android UI ProgressBar和Timer的使用
package cn.jinyejun.ui_ import java.util.T import java.util.TimerT import android.os.B import android.support.v7.app.ActionBarA
hsqldb 简介和使用方法
Hsqldb是一个开放源代码的JAVA数据库，其具有标准的SQL语法和JAVA接口，它可以自由使用和分发，非常简洁和快速的。具有Server模式，进程内模式(In-Process)和内存模式(Memory-Only)三种。运行Hsqldb需要hsqldb.jar包, 它包含了一些组
oracle中imp和exp的使用
在程序开发或者数据库开发中，需要涉及到很多的环境，所以经常会对数据进行迁移，对数据迁移最简便的方法就是使用exp和imp
比如生产环境数据库服务名为remoteorcl：
表空间名称： ts1
用户: user1
导入到另外一台主机上，这时首先创
Protocol Buffers的基础说明和使用
我们开始需要使用protobuf的原因是，在处理OJ的contest模块的时候，碰到一个问题就是生成contestRank的时候，需要存储很多信息。如果我们采用model存储的话，那么一方面后续如果继续加入其他信息的话修改会灰常麻烦，另一方面就是实现比较复杂，因为对于rank来说，每一条ran
Derby的下载安装和使用(转)
本文转自：http://blog.csdn.net/shenhonglei1234/article/details/9169421
首先是Java环境变量要配置：
1.打开我的电脑--属性--高级--环境变量 2.新建系统变量JAVA_HOME 和CLASSPATH 变量名：JAVA_HOME 变量值：C:\Program File
Hadoop中DBInputFormat和DBOutputFormat使用
一、背景 为了方便MapReduce直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。二、技术
Criteria 和 DetachedCriteria的区别与使用
Criteria 和 DetachedCriteria 的主要区别在于创建的形式不一样， Criteria 是在线的，所 以它是由 Hibernate Session 进行创建的；而 DetachedCriteria 是离线的，创建时无需 Session，DetachedCriteria 提供了 2 个静态方法 forClass
oracle 日期和字符转换函数使用
介绍下oracle中：日期和字符转换函数用法（to_date,to_char） 看了下面的例子知道作用了。很好用！
HIREDATE -----------
Android ContentProvider、ContentResolver和ContentObserver的使用
1、ContentProvider、ContentResolver和ContentObserver ContentProvider是Android的四大组件之一，可见它在Android中的作用非同小可。它主要的作用是：实现各个应用程序之间的（跨应用）数据共享，比如联系人应用中就
Oracle的rownum原理和使用
在Oracle中，要按特定条件查询前N条记录，用个rownum就搞定了。 select * from emp where rownum &= 5 而且书上也告诫，不能对rownum用&&&，这也就意味着，如果你想用 select * from emp where rownum & 5 则是失败的。要知道为什么会失败，则需
android studio plugin开发和使用
最近由于项目需要要开发一个android studio的插件(自动化管理Android项目的配置)，这里就描述一下整个过程，从开发到应用。 首先，我不知道如何在Android studio上直接开发插件，然而Android studio是基于Intellij IDEA，所以我想在Intellij 上开发，然后到处jar包，在studio上应用
ORACLE中%TYPE和%ROWTYPE的使用
1%TYPE说明 为了使一个变量的数据类型与另一个已经定义了的变量（尤其是表的某一列）的数据类型相一致，Oracle提供了%TYPE定义方式。当被参照的那个变量的数据类型改变了之后，这个新定义的变量的数据类型会自动跟随其改变，容易保持一致，也不用修改PL/SQL程序了。当不能确切地知道被参照的那个变量的数据类型时，就只能
ORACLE ROLLUP和CUBE的使用
ROLLUP，是GROUP BY子句的一种扩展，可以为每个分组返回小计记录以及为所有分组返回总计记录。
CUBE，也是GROUP BY子句的一种扩展，可以返回每一个列组合的小计记录，同时在末尾加上总计记录。
在文章的最后附上了相关表和记录创建的脚本。
1、向ROLLUP传递一列
SQL& select division_id,sum(sa
hibernate跟oracle sequence使用遇到的问题
平常项目中经常使用number字段类型，在使用hibernate过程中发现个奇怪的问题 &generator class=&native&& &param name=&sequence&&seq_customer&/param& &/generato
深入研究B树索引（二）
2.B树索引的内部结构
我们可以使用如下方式将B树索引转储成树状结构的形式而呈现出来： alter session set events 'immediate trace name treedump level INDEX_OBJECT_ID';
Apache Common DBUtils源码研究(1)
　　BeanListHandler是可供DBUtils查询器使用的一个Handler类，它的作用是将查询结果转换为一个列表。列表中元素为查询结果所转换的JavaBean，Bean的类型为开发者所指定的Class。参考如下这段代码：
public Template[] list(Connection
IPhone短信相关部分研究（转载）
短信发送和截获
打 开/dev/tty.debug使用AT命令操作，这类代码最早的出现在一些开源项目中，改改基本能用，现有的版本用的就是这种方式。
缺 点：机器必须破解并必须安装到 /Application ,IPA安装方式无法使用，应该是权限的问题。
[trans] IPhone短信相关部分研究
http://blog.csdn.net/mtc1256/article/details/5558497 短信发送和截获 方式一： 打 开/dev/tty.debug使用AT命令操作，这类代码最早的出现在一些开源项目中，改改基本能用，现有的版本用的就是这种方式。 缺 点：机器必须破解并必须安装到 /Application ,IPA安装方式无法使用
1.为什么需要产生viewstate概念？ 2.使用demo了解asp.net page的life cycle，进而了解viewstate工作原理？ 1.为什么需要产生viewstate概念？ 当 classic ASP 中的表单被提交时，所有的表单值都会被清空。设想一下，您提交了一张带有大量信息的表单，而服务器返回了一个错误。您将不得不返回表单，然后更正其中的信息。您点击后退按钮，然后会发生什么