[服务器架构及memcached部署中一致性Hash的应用]_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
文档贡献者
评价文档：
&&¥1.00
喜欢此文档的还喜欢
[服务器架构及memcached部署中一致性Hash的应用]
把文档贴到Blog、BBS或个人站等：
普通尺寸(450*500pix)
较大尺寸(630*500pix)
大小：1.66MB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢Discuz!NT中集成Memcached分布式缓存,分布式缓存memcached,memcached分布式部署..
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
Discuz!NT中集成Memcached分布式缓存
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口当前位置：-> ->
文章详细内容
详解分布式缓存-Memcached及分布式实现方法
摘要：分布式缓存出于如下考虑，首先是缓存本身的水平线性扩展问题，其次是缓存大并发下的本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管理和回收机制。其次是分布式管理和分布式算法，其次是缓存键值管理和路由...
分布式缓存出于如下考虑，首先是缓存本身的水平线性扩展问题，其次是缓存大并发下的本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管理和回收机制。其次是分布式管理和分布式算法，其次是缓存键值管理和路由。
什么是Memcached
应用程序都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大，访问的集中，就会出现REBMS的负担加重，数据库响应恶化，网站显示延迟等重大影响。Memcached是高性能的分布式内存缓存服务器。一般的使用目的是通过缓存数据库查询结果，减少数据库的访问次数，以提高动态Web
应用的速度、提高扩展性。如图：
Memcached作为高速运行的分布式缓存服务器具有以下特点。
协议简单：memcached的服务器客户端通信并不使用复杂的MXL等格式，而是使用简单的基于文本的协议。
基于libevent的事件处理：libevent是个程序库，他将Linux
的epoll、BSD类操作系统的kqueue等时间处理功能封装成统一的接口。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。
内置内存存储方式：为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached，重启操作系统会导致全部数据消失。另外，内容容量达到指定的值之后memcached回自动删除不适用的缓存。
Memcached不互通信的分布式：memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。他的分布式主要是通过客户端实现的。
Memcached的内存管理
最近的memcached默认情况下采用了名为Slab
Allocatoion的机制分配，管理内存。在改机制出现以前，内存的分配是通过对所有记录简单地进行malloc和free来进行的。但是这中方式会导致内存碎片，加重操作系统内存管理器的负担。
Allocator的基本原理是按照预先规定的大小，将分配的内存分割成特定长度的块，已完全解决内存碎片问题。Slab Allocation&的原理相当简单。将分配的内存分割成各种尺寸的块（chucnk），并把尺寸相同的块分成组（chucnk的集合）如图：
而且slab allocator
还有重复使用已分配内存的目的。也就是说，分配到的内存不会释放，而是重复利用。
Slab Allocation 的主要术语
&&&Page :分配给Slab 的内存空间，默认是1MB。分配给Slab 之后根据slab 的大小切分成chunk.
&&&Chunk : 用于缓存记录的内存空间。
&&&Slab Class:特定大小的chunk 的组。
中缓存记录的原理
Memcached根据收到的数据的大小，选择最合适数据大小的Slab (图2)
memcached中保存着slab内空闲chunk的列表，根据该列表选择chunk,然后将数据缓存于其中。
Memcached在数据删除方面有效里利用资源
Memcached删除数据时数据不会真正从memcached中消失。Memcached不会释放已分配的内存。记录超时后，客户端就无法再看见该记录（invisible
透明），其存储空间即可重复使用。
Expriationmemcached内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术称为lazy
expiration.因此memcached不会再过期监视上耗费CPU时间。
对于缓存存储容量满的情况下的删除需要考虑多种机制，一方面是按队列机制，一方面应该对应缓存对象本身的优先级，根据缓存对象的优先级进行对象的删除。
LRU:从缓存中有效删除数据的原理
Memcached会优先使用已超时的记录空间，但即使如此，也会发生追加新纪录时空间不足的情况。此时就要使用名为Least
Recently Used (LRU)机制来分配空间。这就是删除最少使用的记录的机制。因此当memcached的内存空间不足时（无法从slab
class）获取到新空间时，就从最近未使用的记录中搜索，并将空间分配给新的记录。
Memcached分布式
Memcached虽然称为“分布式“缓存服务器，但服务器端并没有“分布式”的功能。Memcached的分布式完全是有客户端实现的。现在我们就看一下memcached是怎么实现分布式缓存的。
例如下面假设memcached服务器有node1～node3三台，应用程序要保存键名为“tokyo”“kanagawa”“chiba”“saitama”“gunma”
首先向memcached中添加“tokyo”。将“tokyo”传给客户端程序库后，客户端实现的算法就会根据“键”来决定保存数据的memcached服务器。服务器选定后，即命令它保存“tokyo”及其值。
同样，“kanagawa”“chiba”“saitama”“gunma”都是先选择服务器再保存。
接下来获取保存的数据。获取时也要将要获取的键“tokyo”传递给函数库。函数库通过与数据保存时相同的算法，根据“键”选择服务器。使用的算法相同，就能选中与保存时相同的服务器，然后发送get命令。只要数据没有因为某些原因被删除，就能获得保存的值。
这样，将不同的键保存到不同的服务器上，就实现了memcached的分布式。
memcached服务器增多后，键就会分散，即使一台memcached服务器发生故障无法连接，也不会影响其他的缓存，系统依然能继续运行。
Memcached的缓存分布策略：
Consistent Hashing的简单说明
Consistent
Hashing如下所示：首先求出memcached服务器（节点）的哈希值，并将其配置到0～232的圆（continuum）上。
然后用同样的方法求出存储数据的键的哈希值，并映射到圆上。然后从数据映射到的位置开始顺时针查找，将数据保存到找到的第一个服务器上。如果超过232仍然找不到服务器，就会保存到第一台memcached服务器上。
从上图的状态中添加一台memcached服务器。余数分布式算法由于保存键的服务器会发生巨大变化而影响缓存的命中率，但Consistent
Hashing中，只有在continuum上增加服务器的地点逆时针方向的第一台服务器上的键会受到影响。
因此，Consistent
Hashing最大限度地抑制了键的重新分布。 而且，有的Consistent Hashing的实现方法还采用了虚拟节点的思想。
使用一般的hash函数的话，服务器的映射地点的分布非常不均匀。因此，使用虚拟节点的思想，为每个物理节点（服务器）
在continuum上分配100～200个点。这样就能抑制分布不均匀，最大限度地减小服务器增减时的缓存重新分布。
缓存多副本
缓存多副本主要是用于在缓存数据存放时存储缓存数据的多个副本，以防止缓存失效。缓存失效发生在以下几种情况：
1.&&&缓存超时被移除（正常失效）
2.&&&缓存由于存储空间限制被移除（异常失效）
3.&&&由于缓存节点变化而导致的缓存失效（异常失效）
在缓存多副本的情况下，需要重新考虑缓存的分布式分布策略。其次缓存的多个副本实际本身是可能的多个读的节点，可以做为分布式的并行读，这是另外一个可以考虑的问题。
缓存数据的一致性问题
缓存数据尽量只读，因此缓存本身是不适合大量写和更新操作的数据场景的。对于读的情况下，如果存在数据变化，一种是同时更新缓存和数据库。一种是直接对缓存数据进行失效处理。
标签： , ,
注：与内容无关的评论将被删除，严重者禁用帐号！
不吐不快，赶紧来一发！
| 服务协议 | 隐私权保护 | 开放平台 | 广告服务 | PHP1招聘 | PHP1公益 | 客服中心
Copyright (C) 1998 - . All Rights Reserved
第一PHP社区一、Jedis分布式（Sharding/shared 一致性哈希）
? ? 我们知道Memcached是完全基于分布式的集群，而Redis是Master-Slave的模式，如果想把Redis做成集群模式，其实无外乎就是多做几套Master-Slave，每套Master-Slave完成各自的容灾处理，通过Client工具，完成一致性哈希。（PS:Memcached是在Server端完成Sharding，Redis只能依靠各个Client做Sharding。但比较开心的是从3.0的开始，Redis也会像Memache一样开始支持Server端的集群）
????shared一致性哈希采用以下方案：
sharded采用的hash算法：MD5?和?MurmurHash两种；默认采用64位的Murmur；
二、Jedis分布式代码示例片段：（开始之前可参照上一篇Jedis的基本使用）
? ? 使用上一篇中的JedisPoolConfig，新增两个Redis的IP，此处假设为redis1.ip和redis2.ip。需要添加的代码就是新增两个JedisShardInfo实例，并将其放进List中：
bundle.getString("redis1.ip"), (bundle
.getString("redis.port")));
JedisShardInfo jedisShardInfo2 = new JedisShardInfo(
bundle.getString("redis2.ip"), Integer.valueOf(bundle
.getString("redis.port")));
List&JedisShardInfo& list = new LinkedList&JedisShardInfo&();
list.add(jedisShardInfo1);
list.add(jedisShardInfo2);
?初始化ShardedJedisPool代替JedisPool：
ShardedJedisPool pool = new ShardedJedisPool(config, list);
?改由ShardedJedis，获取Jedis对象：
// 从池中获取一个Jedis对象
ShardedJedis jedis = pool.getResource();
String keys = "name";
String value = "snowolf";
jedis.del(keys);
jedis.set(keys, value);
String v = jedis.get(keys);
System.out.println(v);
// 释放对象池
pool.returnResource(jedis);
通过以上方式，向redis进行set操作的key-value，会通过hash而均匀的分配到pool里的redis机器中。
三、使用Shading和非Shading的示例：
package com.chuanliu.platform.activity.
import java.util.ArrayL
import java.util.L
import org.junit.B
import org.junit.T
import redis.clients.jedis.J
import redis.clients.jedis.JedisP
import redis.clients.jedis.JedisPoolC
import redis.clients.jedis.JedisShardI
import redis.clients.jedis.ShardedJ
import redis.clients.jedis.ShardedJedisP
* The unit test used to simulate the distribution(master/slave)
* of Redis
* @author Josh Wang(Sheng)
public class TestCombination {
* 非切片客户端链接
* 非切片链接池
private JedisPool jedisP
* 切片客户端链接
private ShardedJedis shardedJ
* 切片链接池
private ShardedJedisPool shardedJedisP
private String ip = "172.16.205.186";
public void init() {
initialPool();
initialShardedPool();
shardedJedis = shardedJedisPool.getResource();
jedis = jedisPool.getResource();
private void initialPool() {
// 池基本配置
JedisPoolConfig config = new JedisPoolConfig();
config.setMaxActive(20);
config.setMaxIdle(5);
config.setMaxWait(1000l);
config.setTestOnBorrow(false);
jedisPool = new JedisPool(config, ip, 6379);
* 初始化切片池
private void initialShardedPool() {
// 池基本配置
JedisPoolConfig config = new JedisPoolConfig();
config.setMaxActive(20);
config.setMaxIdle(5);
config.setMaxWait(1000l);
config.setTestOnBorrow(false);
// slave链接
List&JedisShardInfo& shards = new ArrayList&JedisShardInfo&();
shards.add(new JedisShardInfo(ip, 6379, "master"));
shardedJedisPool = new ShardedJedisPool(config, shards);
public void show() {
// key检测
testKey();
// string检测
testString();
// list检测
testList();
// set检测
testSet();
// sortedSet检测
testSortedSet();
// hash检测
testHash();
shardedJedisPool.returnResource(shardedJedis);
private void testKey() {
System.out.println("=============key==========================");
// 清空数据
System.out.println(jedis.flushDB());
System.out.println(jedis.echo("foo"));
// 判断key否存在
System.out.println(shardedJedis.exists("foo"));
shardedJedis.set("key", "values");
System.out.println(shardedJedis.exists("key"));
private void testString() {
System.out.println("=============String==========================");
// 清空数据
System.out.println(jedis.flushDB());
// 存储数据
shardedJedis.set("foo", "bar");
System.out.println(shardedJedis.get("foo"));
// 若key不存在，则存储
shardedJedis.setnx("foo", "foo not exits");
System.out.println(shardedJedis.get("foo"));
// 覆盖数据
shardedJedis.set("foo", "foo update");
System.out.println(shardedJedis.get("foo"));
// 追加数据
shardedJedis.append("foo", " hello, world");
System.out.println(shardedJedis.get("foo"));
// 设置key的有效期，并存储数据
shardedJedis.setex("foo", 2, "foo not exits");
System.out.println(shardedJedis.get("foo"));
Thread.sleep(3000);
} catch (InterruptedException e) {
System.out.println(shardedJedis.get("foo"));
// 获取并更改数据
shardedJedis.set("foo", "foo update");
System.out.println(shardedJedis.getSet("foo", "foo "));
// 截取value的值
System.out.println(shardedJedis.getrange("foo", 1, 3));
System.out.println(jedis.mset("mset1", "mvalue1", "mset2", "mvalue2",
"mset3", "mvalue3", "mset4", "mvalue4"));
System.out.println(jedis.mget("mset1", "mset2", "mset3", "mset4"));
System.out.println(jedis.del(new String[] { "foo", "foo1", "foo3" }));
private void testList() {
System.out.println("=============list==========================");
// 清空数据
System.out.println(jedis.flushDB());
// 添加数据
shardedJedis.lpush("lists", "vector");
shardedJedis.lpush("lists", "ArrayList");
shardedJedis.lpush("lists", "LinkedList");
// 数组长度
System.out.println(shardedJedis.llen("lists"));
System.out.println(shardedJedis.sort("lists"));
System.out.println(shardedJedis.lrange("lists", 0, 3));
// 修改列表中单个值
shardedJedis.lset("lists", 0, "hello list!");
// 获取列表指定下标的值
System.out.println(shardedJedis.lindex("lists", 1));
// 删除列表指定下标的值
System.out.println(shardedJedis.lrem("lists", 1, "vector"));
// 删除区间以外的数据
System.out.println(shardedJedis.ltrim("lists", 0, 1));
// 列表出栈
System.out.println(shardedJedis.lpop("lists"));
// 整个列表值
System.out.println(shardedJedis.lrange("lists", 0, -1));
private void testSet() {
System.out.println("=============set==========================");
// 清空数据
System.out.println(jedis.flushDB());
// 添加数据
shardedJedis.sadd("sets", "HashSet");
shardedJedis.sadd("sets", "SortedSet");
shardedJedis.sadd("sets", "TreeSet");
// 判断value是否在列表中
System.out.println(shardedJedis.sismember("sets", "TreeSet"));
// 整个列表值
System.out.println(shardedJedis.smembers("sets"));
// 删除指定元素
System.out.println(shardedJedis.srem("sets", "SortedSet"));
System.out.println(shardedJedis.spop("sets"));
System.out.println(shardedJedis.smembers("sets"));
shardedJedis.sadd("sets1", "HashSet1");
shardedJedis.sadd("sets1", "SortedSet1");
shardedJedis.sadd("sets1", "TreeSet");
shardedJedis.sadd("sets2", "HashSet2");
shardedJedis.sadd("sets2", "SortedSet1");
shardedJedis.sadd("sets2", "TreeSet1");
System.out.println(jedis.sinter("sets1", "sets2"));
System.out.println(jedis.sunion("sets1", "sets2"));
System.out.println(jedis.sdiff("sets1", "sets2"));
private void testSortedSet() {
System.out.println("=============zset==========================");
// 清空数据
System.out.println(jedis.flushDB());
// 添加数据
shardedJedis.zadd("zset", 10.1, "hello");
shardedJedis.zadd("zset", 10.0, ":");
shardedJedis.zadd("zset", 9.0, "zset");
shardedJedis.zadd("zset", 11.0, "zset!");
// 元素个数
System.out.println(shardedJedis.zcard("zset"));
// 元素下标
System.out.println(shardedJedis.zscore("zset", "zset"));
// 集合子集
System.out.println(shardedJedis.zrange("zset", 0, -1));
// 删除元素
System.out.println(shardedJedis.zrem("zset", "zset!"));
System.out.println(shardedJedis.zcount("zset", 9.5, 10.5));
// 整个集合值
System.out.println(shardedJedis.zrange("zset", 0, -1));
private void testHash() {
System.out.println("=============hash==========================");
// 清空数据
System.out.println(jedis.flushDB());
// 添加数据
shardedJedis.hset("hashs", "entryKey", "entryValue");
shardedJedis.hset("hashs", "entryKey1", "entryValue1");
shardedJedis.hset("hashs", "entryKey2", "entryValue2");
// 判断某个值是否存在
System.out.println(shardedJedis.hexists("hashs", "entryKey"));
// 获取指定的值
System.out.println(shardedJedis.hget("hashs", "entryKey"));
// 批量获取指定的值
System.out
.println(shardedJedis.hmget("hashs", "entryKey", "entryKey1"));
// 删除指定的值
System.out.println(shardedJedis.hdel("hashs", "entryKey"));
// 为key中的域 field 的值加上增量 increment
System.out.println(shardedJedis.hincrBy("hashs", "entryKey", 123l));
// 获取所有的keys
System.out.println(shardedJedis.hkeys("hashs"));
// 获取所有的values
System.out.println(shardedJedis.hvals("hashs"));
没有下一篇了!