一个简单的consistent hashing的样例,非常easy理解。

首先有一个设备类,定义了机器名和ip:

public class Cache
{
public String name;
public String ipAddress;
}

然后是基本的实现:

public class Shard<T> {
//hash 算法并非保证绝对的平衡,假设 cache 较少的话,对象并不能被均匀的映射到 cache 上,
//所以添加虚拟节点
private TreeMap<Long, T> nodes;
private List<T> shards; //节点碎片
private final int NODE_NUM = 10; // 每一个机器节点关联的虚拟节点个数 public Shard(List<T> shards) {
this.shards = shards;
init();
} private void init() {
nodes = new TreeMap<Long, T>();
for (int i = 0; i < shards.size(); i++)
{ // 遍历真实节点
final T shardInfo = shards.get(i); for (int n = 0; n < NODE_NUM; n++)
{
// 真实节点关联虚拟节点,真实节点是VALUE;
nodes.put((long) Hash("SHARD-" + i + "-NODE-" + n), shardInfo);
}
System.out.println(shardInfo);
}
} public T getShardInfo(String key) {
SortedMap<Long, T> tail = nodes.tailMap((long) Hash(key));
if (tail.size() == 0) {
return nodes.get(nodes.firstKey());
}
//找到近期的虚拟节点
return tail.get(tail.firstKey());
} /**
* 改进的32位FNV算法,高离散
*
* @param string
* 字符串
* @return int值
*/
public static int Hash(String str)
{
final int p = 16777619;
int hash = (int) 2166136261L;
for (byte b : str.getBytes())
hash = (hash ^ b) * p;
hash += hash << 13;
hash ^= hash >> 7;
hash += hash << 3;
hash ^= hash >> 17;
hash += hash << 5;
return hash;
} }

到这里就完了,是不是非常easy,以下来測试下:

public class Test
{ /**
* @param args
*/
public static void main(String[] args)
{
List<Cache> myCaches=new ArrayList<Cache>();
Cache cache1=new Cache();
cache1.name="COMPUTER1";
Cache cache2=new Cache();
cache2.name="COMPUTER2";
myCaches.add(cache1);
myCaches.add(cache2); Shard<Cache> myShard=new Shard<Cache>(myCaches); Cache currentCache=myShard.getShardInfo("info1");
System.out.println(currentCache.name); // for(int i=0;i<20;i++)
// {
// String object=getRandomString(20);//产生20位长度的随机字符串
// Cache currentCache=myShard.getShardInfo(object);
// System.out.println(currentCache.name);
// } } public static String getRandomString(int length) { //length表示生成字符串的长度
String base = "abcdefghijklmnopqrstuvwxyz0123456789";
Random random = new Random();
StringBuffer sb = new StringBuffer();
for (int i = 0; i < length; i++) {
int number = random.nextInt(base.length());
sb.append(base.charAt(number));
}
return sb.toString();
} }

我们有两台设备,computer1和computer2,第一次初始化要构建一个2的32次方的环,并往上面放设备。这个环由改进的FNV算法实现。位置也由hash算法确定。

但我们仅仅有两台设备,非常明显在环上会分布不均匀(这个就不解释了,网上非常多资料)。于是我们每台设备添加10个虚拟设备。

最后分布例如以下:

-1561290727=Hash.Cache@10f11b8,
-1083588870=Hash.Cache@10f11b8,
-697149481=Hash.Cache@10f11b8,
-253517545=Hash.Cache@10f11b8,
397383558=Hash.Cache@10f11b8,
1078505027=Hash.Cache@10f11b8,
1810977445=Hash.Cache@10f11b8,
1844081498=Hash.Cache@10f11b8,
2004894833=Hash.Cache@10f11b8,
2051863688=Hash.Cache@10f11b8

-2147483648到2147483647之间是不是比較均匀,这是java的,假设是c#的就是0~2的32次方。我们hash计算出KEY值为2049553054,然后顺时针找到近期的位置,即为

2051863688=Hash.Cache@10f11b8

结果我们定位到了COMPUTER1

最好我们要看看平衡性怎样:取消上面凝视的代码,循环20次,得到结果例如以下:

COMPUTER1

COMPUTER2

COMPUTER1

COMPUTER2

COMPUTER1

COMPUTER2

COMPUTER1

COMPUTER1

COMPUTER1

COMPUTER2

COMPUTER2

COMPUTER2

COMPUTER1

COMPUTER2

COMPUTER1

COMPUTER1

COMPUTER1

COMPUTER2

COMPUTER1

COMPUTER2

大家能够自己取试试,

FNV哈希算法是一种高离散性的哈希算法,特别适用于哈希很相似的字符串,比如:URL,IP,主机名,文件名称等。

下面服务使用了FNV:

1、calc

2、DNS

3、mdbm key/value查询函数

4、数据库索引hash

5、主流web查询/索引引擎

6、高性能email服务

7、基于消息ID查询函数

8、auti-spam反垃圾邮件过滤器

9、NFS实现(比方freebsd 4.3, linux NFS v4)

10、Cohesia MASS project

11、Ada 95的spellchecker

12、开源x86汇编器:flatassembler   user-defined symbol hashtree

13、PowerBASIC

14、PS2、XBOX上的文本资源

15、非加密图形文件指纹

16、FRET

17、Symbian DASM

18、VC++ 2005的hash_map实现

19、memcache中的libketama

20、 PHP 5.x

21、twitter中用于改进cache碎片

22、BSD IDE project

23、deliantra game server

24、 Leprechaun

25、IPv6流标签

一致性哈希算法(consistent hashing)样例+測试。的更多相关文章

  1. 一致性哈希算法(consistent hashing)(转)

    原文链接:每天进步一点点——五分钟理解一致性哈希算法(consistent hashing)  一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网 ...

  2. 一致性哈希算法(Consistent Hashing Algorithm)

    一致性哈希算法(Consistent Hashing Algorithm) 浅谈一致性Hash原理及应用   在讲一致性Hash之前我们先来讨论一个问题. 问题:现在有亿级用户,每日产生千万级订单,如 ...

  3. 转 白话解析:一致性哈希算法 consistent hashing

    摘要: 本文首先以一个经典的分布式缓存的应用场景为铺垫,在了解了这个应用场景之后,生动而又不失风趣地介绍了一致性哈希算法,同时也明确给出了一致性哈希算法的优点.存在的问题及其解决办法. 声明与致谢: ...

  4. (转)每天进步一点点——五分钟理解一致性哈希算法(consistent hashing)

    背景:在redis集群中,有关于一致性哈希的使用. 一致性哈希:桶大小0~(2^32)-1 哈希指标:平衡性.单调性.分散性.负载性 为了提高平衡性,引入“虚拟节点” 每天进步一点点——五分钟理解一致 ...

  5. 白话解析:一致性哈希算法 consistent hashing【转】

    学习一致性哈希算法原理的时候看到博主朱双印的一片文章,看完就懂,大佬! 白话解析:一致性哈希算法 consistent hashing

  6. _00013 一致性哈希算法 Consistent Hashing 新的讨论,并出现相应的解决

    笔者博文:妳那伊抹微笑 博客地址:http://blog.csdn.net/u012185296 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前.妳却感觉不到我的存在 技术方向: ...

  7. 一致性哈希算法(consistent hashing)PHP实现

    一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简单哈希 ...

  8. 五分钟理解一致性哈希算法(consistent hashing)

    转载请说明出处:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法 ...

  9. 每天进步一点点——五分钟理解一致性哈希算法(consistent hashing)

    转载请说明出处:http://blog.csdn.net/cywosp/article/details/23397179     一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT) ...

  10. 一致性哈希算法(consistent hashing)【转】

    一致性哈希算法 来自:http://blog.csdn.net/cywosp/article/details/23397179       一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希 ...

随机推荐

  1. 如何在Windows上配置EBS R12.1.3的OAF开发环境

    1.找到想要开发的EBS OAF扩展对应的PATCH,可以参照下面的Note,因为我要做的是R12.1.3的开发,所以要下载p9879989_R12_GENERIC OA Framework - Ho ...

  2. 编译kernel:配置

    韦东山Linux视频第1期_裸板_UBoot_文件系统_驱动初步\第10课第2节 内核启动流程分析之配置.WMV 下面以DM9000的配置为例: 在一个编译好的内核代码里,寻找CONFIG_DM900 ...

  3. (step 8.2.8)hdu 1079(Calendar Game)

    题目大意是: 两个家伙在区域赛前夕闲的无聊,然后玩一种无限纠结的游戏,随即给定一个日期,每次只能移动day OR month.......... 而且如果下一个月没有当前day的话, 你就不能移动mo ...

  4. 透过表象看本质!?之三——Kalman滤波

    数据拟合能够估计出数据变化的趋势,另外一个同等重要的应用是如何利用这一趋势,预测下一时刻数据可能的值.通俗点儿说,你观察苍蝇(蚊子,蜜蜂)飞了几秒,你也许会想“它下一个时刻可能在哪儿”,“呈现出什么样 ...

  5. android5.0(Lollipop) BLE Central牛刀小试

    转载请表明作者:http://blog.csdn.net/lansefeiyang08/article/details/46482073 昨天写了android L BLE Peripheral的简单 ...

  6. Tesseract Ocr引擎

    Tesseract Ocr引擎 1.Tesseract介绍 tesseract 是一个google支持的开源ocr项目,其项目地址:https://github.com/tesseract-ocr/t ...

  7. 64位win7旗舰版搭建apache+php+mysql开发环境[转]

      我建议把apache.php.mysql都安装在一个文件夹中,比如:web/apache.web/php.web/mysql 1.安装apache2.2.25,请查看win7下安装VC9版本的ap ...

  8. JAVA 实现发牌的 改进

    java是一门面向对象的语言,我们在解决这个问题的时候先找对象.我认为面想对象 “就是把复杂的问题变简单,简单的问题程序化” .如果我们  创建一盒牌--->洗牌--->选地主牌---&g ...

  9. 微信5.0 Android版飞机大战破解无敌模式手记

    微信5.0 Android版飞机大战破解无敌模式手记 转载: http://www.blogjava.net/zh-weir/archive/2013/08/14/402821.html 微信5.0 ...

  10. 【水】HDU 2099——整除的尾数

    来源:点击打开链接 数据范围小,枚举水过就行了……不过要注意格式! #include <iostream> #include <cstring> #include <io ...