前几天看了一下Memcached，看到Memcached的分布式算法时，知道了一种Consistent Hashing的哈希算法，上网搜了一下，大致了解了一下这个算法，做下记录。

数据均衡分布技术在分布式存储系统中非常重要，数据分布越均匀，系统的总体性能就越好。

简单的哈希算法：以K取余法，这种算法虽然简单，但难以满足单调性要求，并且平衡性差，增删节点时更新效率低。当系统中存储节点数量发生增加或者减少时，整个系统的数据对象的映射位置都要重新进行计算，严重影响了缓存的命中率，可能会导致系统无法对外界进行正常的响应，从而导致崩溃。

一致性哈希算法（Consisteng Hashing)：首先，它将存储空间抽象为一个环，将存储节点配置到环上。环上所有的节点都有一个值。然后，对数据进行哈希计算，按顺时针方向将其映射到离其最近的节点上去。这样，当有节点出现故障时，按照算法的 映射方法，只有在故障节点逆时针方向到上一个节点的距离受影响。增加存储节点时也是新增的存储节点逆时针到上一个节点之间受影响。这样很好地解决了简单哈希算法增删节点，重新映射所有数据带来的效率低下的问题。

一致性哈希算法基本解决了以P2P为代表的存储环境中的一个关键问题——如何在动态的网络拓扑中对数据进行分发和选择路由。在这个算法中，每隔存储节点仅需维护少量相邻节点的信息，并且在有节点加入或者退出的时候，仅有相关的少量节点参与到拓扑的维护中，这使得一致性哈希算法成为一个具有实用意义的DHT（Distribute Hash Table）算法。

关于一致性哈希算法的不足：1.查询过程汇总，查询消息需要经过O（n）步（n是系统内节点总数）才能到达被查询的节点，如果系统规模非常大的话，这样的查询效率可能无法满足实用需求。

一致性哈希算法的改进：将圆环划分成M等份，若加入物理节点为N，则每隔物理节点拥有V=M/N个节点书。当有物理节点离线是，由于该节点对应的虚拟节点均匀地分布在换上，其附近的节点将会均匀地分担这个原点的原有附在，当有新节点加入时，其他节点的负担也会均匀地转移到上面。同时根据物理节点的时机性能为权值分配环上的虚拟节点数目给物理节点，也解决了存储节点性能差异的问题。

参考资料：http://tech.idv2.com/2008/07/24/memcached-004/

《分布式存储系统中一致性哈希算法的研究》

Consistent Hashing算法的更多相关文章

  1. Consistent Hashing算法-搜索/负载均衡

    在做服务器负载均衡时候可供选择的负载均衡的算法有很多,包括:  轮循算法(Round Robin).哈希算法(HASH).最少连接算法(Least Connection).响应速度算法(Respons ...

  2. 深入一致性哈希(Consistent Hashing)算法原理，并附100行代码实现

    转自:https://my.oschina.net/yaohonv/blog/1610096 本文为实现分布式任务调度系统中用到的一些关键技术点分享——Consistent Hashing算法原理和J ...

  3. 一致性哈希(consistent hashing)算法

    文章同步发表在博主的网站朗度云,传输门:http://www.wolfbe.com/detail/201608/341.html 1.背景        我们都知道memcached服务器是不提供分布 ...

  4. 一致性 hash 算法（ consistent hashing ）a

    一致性 hash 算法( consistent hashing ) 张亮 consistent hashing 算法早在 1997 年就在论文 Consistent hashing and rando ...

  5. 一致性哈希算法 - consistent hashing

    1 基本场景比如你有 N 个 cache 服务器(后面简称 cache ),那么如何将一个对象 object 映射到 N 个 cache 上呢,你很可能会采用类似下面的通用方法计算 object 的 ...

  6. 一致性 hash 算法（ consistent hashing ）

    consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在cache 系统中应用越来越广泛: 1 基 ...

  7. 【转】一致性hash算法(consistent hashing)

    consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在 cache 系统中应用越来越广泛: 1  ...

  8. 一致性hash算法 - consistent hashing

    consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在 cache 系统中应用越来越广泛: 1 ...

  9. _00013 一致性哈希算法 Consistent Hashing 新的讨论，并出现相应的解决

    笔者博文:妳那伊抹微笑 博客地址:http://blog.csdn.net/u012185296 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前.妳却感觉不到我的存在 技术方向: ...

随机推荐

  1. C#中将数字金额转成英文大写金额的函数

    <span style="white-space:pre"> </span>/// <summary> /// 数字转金额大写 /// 调用示例 ...

  2. msp430项目编程24

    msp430中项目---MMC接口 1.串行通信工作原理 2.串行通信协议 3.代码(显示部分) 4.代码(功能实现) 5.项目总结 msp430项目编程 msp430入门学习

  3. vagrant的学习 之 Laravel

    vagrant的学习 之 Laravel 本文根据慕课网的视频教程练习,感谢慕课网! 慕课视频学习地址:https://www.imooc.com/video/14218. 慕课的参考文档地址:htt ...

  4. loj515 贪心只能过样例（bitset）

    题目: https://loj.ac/problem/515 分析: 所有可能和的最大值是1e6 如果dp的话,dp[i][j]表示前i个数能否凑出和为j的数 这样是O(n^5)的 考虑到[j]可以用 ...

  5. SVN 更新后Tomcat 启动时出现问题

    更新了svn后,启动本地的tomcat容器发现启动不了, 检查后发现是配置文件配置出现问题,因为我们的该项目 配置有tomcat与weblogic两种 , 而在我的web.xml中 默认配置的serv ...

  6. oracle数据库 SQL语句、内置函数大全

    1.数值函数 函数 返回值 样例 显示 CEIL(n)      大于或等于数值n的最小整数 SELECT CEIL(10.6) FROM TABLE_NAME; 11 FLOOR(n)  小于等于数 ...

  7. spring mvc 选中多文件同时上传(利用input元素的multiple属性)

    原文:http://m.blog.csdn.net/article/details?id=51351388 <!DOCTYPE html> <html> <head> ...

  8. ECC数据结构

    在SM2 ECC算法中,有针对签名加密的数据结构,下面对这些结构进行分析 #define ECCref_MAX_BITS 512 #define ECCref_MAX_LEN ((ECCref_MAX ...

  9. 【Nginx】发送响应

    请求处理完毕后,需要向用户发送http响应,告知客户端Nginx的执行结果.http响应主要包括响应行.响应头部.包体三部分.发送http响应时需要执行发送http头部(发送http头部时也会发送响应 ...

  10. DRBD原理知识

    DRBD(Distributed Relicated Block Device 分布式复制块设备), 可以解决磁盘单点故障.一般情况下只支持2个节点. 大致工作原理如下图: 一般情况下文件写入磁盘的步 ...