一致性哈希算法C#实现

一致性hash实现，以下实现没有考虑多线程情况，也就是没有加锁，需要的可以自行加上。因为换行的问题，阅读不太方便，可以拷贝到本地再读。

  1 /// <summary>
  2 /// 一致性哈希。
  3 /// </summary>
  4 public static class ConsistentHashing
  5 {
  6     /// <summary>
  7     /// 虚拟节点倍数
  8     /// </summary>
  9     private static int _virtualNodeMultiple = 100;
 10
 11     /// <summary>
 12     /// 真实节点信息
 13     /// </summary>
 14     private static readonly List<string> Nodes = new List<string>();
 15
 16     /// <summary>
 17     /// 虚拟节点信息（int类型主要是为了获取虚拟节点时的二分查找）
 18     /// </summary>
 19     private static readonly List<int> VirtualNode = new List<int>();
 20
 21     /// <summary>
 22     /// 虚拟节点和真实节点映射，在获取到虚拟节点之后，能以O(1)的时间复杂度返回真实节点
 23     /// </summary>
 24     private static readonly Dictionary<int, string> VirtualNodeAndNodeMap = new Dictionary<int, string>();
 25
 26     /// <summary>
 27     /// 增加节点
 28     /// </summary>
 29     /// <param name="hosts">节点集合</param>
 30     /// <returns>操作结果</returns>
 31     public static bool AddNode(params string[] hosts)
 32     {
 33         if (hosts == null || hosts.Length == 0)
 34         {
 35             return false;
 36         }
 37         Nodes.AddRange(hosts); //先将节点增加到真实节点信息中。
 38         foreach (var item in hosts)
 39         {
 40             for (var i = 1; i <= _virtualNodeMultiple; i++) //此处循环为类似“192.168.3.1”这样的真实ip字符串从1加到1000，算作虚拟节点。192.168.3.11，192.168.3.11000
 41             {
 42                 var currentHash = HashAlgorithm.GetHashCode(item + i) & int.MaxValue; //计算一个hash，此处用自定义hash算法原因是字符串默认的哈希实现不保证对同一字符串获取hash时得到相同的值。和int.MaxValue进行位与操作是为了将获取到的hash值设置为正数
 43                 if (!VirtualNodeAndNodeMap.ContainsKey(currentHash)) //因为hash可能会重复，如果当前hash已经包含在虚拟节点和真实节点映射中，则以第一次添加的为准，此处不再进行添加
 44                 {
 45                     VirtualNode.Add(currentHash);//将当前虚拟节点添加到虚拟节点中
 46                     VirtualNodeAndNodeMap.Add(currentHash, item);//将当前虚拟节点和真实ip放入映射中。
 47                 }
 48             }
 49         }
 50         VirtualNode.Sort(); //操作完成之后进行一次映射，是为了后面根据key的hash值查找虚拟节点时使用二分查找。
 51         return true;
 52     }
 53
 54     /// <summary>
 55     /// 移除节点
 56     /// </summary>
 57     /// <param name="host">指定节点</param>
 58     /// <returns></returns>
 59     public static bool RemoveNode(string host)
 60     {
 61         if (!Nodes.Remove(host)) //如果将指定节点从真实节点集合中移出失败，后序操作不需要进行，直接返回
 62         {
 63             return false;
 64         }
 65         for (var i = 1; i <= _virtualNodeMultiple; i++)
 66         {
 67             var currentHash = HashAlgorithm.GetHashCode(host + i) & int.MaxValue; //计算一个hash，此处用自定义hash算法原因是字符串默认的哈希实现不保证对同一字符串获取hash时得到相同的值。和int.MaxValue进行位与操作是为了将获取到的hash值设置为正数
 68             if (VirtualNodeAndNodeMap.ContainsKey(currentHash) && VirtualNodeAndNodeMap[currentHash] == host) //因为hash可能会重复，所以此处判断在判断了哈希值是否存在于虚拟节点和节点映射中之后还需要判断通过当前hash值获取到的节点是否和指定节点一致，如果不一致，则证明这个这个虚拟节点不是当前hash值所拥有的
 69             {
 70                 VirtualNode.Remove(currentHash); //从虚拟节点中移出
 71                 VirtualNodeAndNodeMap.Remove(currentHash); //从虚拟节点和真实ip映射中移出
 72             }
 73         }
 74         VirtualNode.Sort(); //操作完成之后进行一次映射，是为了后面根据key的hash值查找虚拟节点时使用二分查找。
 75         return true;
 76     }
 77
 78     /// <summary>
 79     /// 获取所有节点
 80     /// </summary>
 81     /// <returns></returns>
 82     public static List<string> GetAllNodes()
 83     {
 84         var nodes = new List<string>(Nodes.Count);
 85         nodes.AddRange(Nodes);
 86         return nodes;
 87     }
 88
 89     /// <summary>
 90     /// 获取节点数量
 91     /// </summary>
 92     /// <returns></returns>
 93     public static int GetNodesCount()
 94     {
 95         return Nodes.Count;
 96     }
 97
 98     /// <summary>
 99     /// 重新设置虚拟节点倍数
100     /// </summary>
101     /// <param name="multiple"></param>
102     public static void ReSetVirtualNodeMultiple(int multiple)
103     {
104         if (multiple < 0 || multiple == _virtualNodeMultiple)
105         {
106             return;
107         }
108         var nodes = new List<string>(Nodes.Count);
109         nodes.AddRange(Nodes); //将现有的真实节点拷贝出来
110         _virtualNodeMultiple = multiple; //设置倍数
111         Nodes.Clear();
112         VirtualNode.Clear();
113         VirtualNodeAndNodeMap.Clear(); //清空数据
114         AddNode(nodes.ToArray()); //重新添加
115     }
116
117     /// <summary>
118     /// 获取节点
119     /// </summary>
120     /// <param name="key"></param>
121     /// <returns></returns>
122     public static string GetNode(string key)
123     {
124         var hash = HashAlgorithm.GetHashCode(key) & int.MaxValue;
125         var start = 0;
126         var end = VirtualNode.Count - 1;
127         while (end - start > 1)
128         {
129             var index = (start + end) / 2;
130             if (VirtualNode[index] > hash)
131             {
132                 end = index;
133             }
134             else if (VirtualNode[index] < hash)
135             {
136                 start = index;
137             }
138             else
139             {
140                 start = end = index;
141             }
142         }
143         return VirtualNodeAndNodeMap[VirtualNode[start]];
144     }
145
146     /// <summary>
147     /// hash
148     /// </summary>
149     private static class HashAlgorithm
150     {
151         public static int GetHashCode(string key)
152         {
153             return Hash(ComputeMd5(key));
154         }
155
156         private static int Hash(byte[] digest, int nTime = 0)
157         {
158             long rv = ((long)(digest[3 + nTime * 4] & 0xFF) << 24)
159                       | ((long)(digest[2 + nTime * 4] & 0xFF) << 16)
160                       | ((long)(digest[1 + nTime * 4] & 0xFF) << 8)
161                       | ((long)digest[0 + nTime * 4] & 0xFF);
162             return (int)(rv & 0xffffffffL);
163         }
164         private static byte[] ComputeMd5(string k)
165         {
166             MD5 md5 = new MD5CryptoServiceProvider();
167             byte[] keyBytes = md5.ComputeHash(Encoding.UTF8.GetBytes(k));
168             md5.Clear();
169             return keyBytes;
170         }
171     }
172 }

一致性hash实现

测试代码：

  1 class Program
  2 {
  3     static void Main(string[] args)
  4     {
  5         ConsistentHashing.AddNode(new[]
  6         {
  7         "192.168.137.1",
  8         "192.168.137.2",
  9         "192.168.137.3",
 10         "192.168.137.4",
 11         "192.168.137.5",
 12         "192.168.137.6",
 13         "192.168.137.7",
 14         "192.168.137.8",
 15         "192.168.137.9",
 16         "192.168.137.10"
 17     });
 18         var data = LoadTestData();
 19
 20         Stopwatch stop = new Stopwatch();
 21         stop.Start();
 22         foreach (var item in data)
 23         {
 24             var node = ConsistentHashing.GetNode(item);
 25         }
 26         stop.Stop();
 27
 28         var map10 = new Dictionary<string, string>();
 29         var mapCount10 = new Dictionary<string, int>();
 30
 31         var map11 = new Dictionary<string, string>();
 32         var mapCount11 = new Dictionary<string, int>();
 33
 34         var map9 = new Dictionary<string, string>();
 35         var mapCount9 = new Dictionary<string, int>();
 36
 37         #region 10个节点
 38         foreach (var item in data)
 39         {
 40             var host = ConsistentHashing.GetNode(item);
 41             if (!map10.ContainsKey(item))
 42             {
 43                 map10.Add(item, host);
 44             }
 45             if (!mapCount10.ContainsKey(host))
 46             {
 47                 mapCount10.Add(host, 1);
 48             }
 49             else
 50             {
 51                 mapCount10[host]++;
 52             }
 53         }
 54         #endregion
 55
 56         #region 11个节点
 57         ConsistentHashing.AddNode("192.168.137.11");
 58         foreach (var item in data)
 59         {
 60             var host = ConsistentHashing.GetNode(item);
 61             if (!map11.ContainsKey(item))
 62             {
 63                 map11.Add(item, host);
 64             }
 65             if (!mapCount11.ContainsKey(host))
 66             {
 67                 mapCount11.Add(host, 1);
 68             }
 69             else
 70             {
 71                 mapCount11[host]++;
 72             }
 73         }
 74         #endregion
 75
 76         #region 9个节点
 77         ConsistentHashing.RemoveNode("192.168.137.11");
 78         ConsistentHashing.RemoveNode("192.168.137.10");
 79         foreach (var item in data)
 80         {
 81             var host = ConsistentHashing.GetNode(item);
 82             if (!map9.ContainsKey(item))
 83             {
 84                 map9.Add(item, host);
 85             }
 86             if (!mapCount9.ContainsKey(host))
 87             {
 88                 mapCount9.Add(host, 1);
 89             }
 90             else
 91             {
 92                 mapCount9[host]++;
 93             }
 94         }
 95         #endregion
 96
 97         #region 数据比较和存储
 98         var tenAndNine = 0;
 99         foreach (var item in map9)
100         {
101             if (map10[item.Key] != item.Value)
102             {
103                 tenAndNine++;
104             }
105         }
106         var tenAndEleven = 0;
107         foreach (var item in map11)
108         {
109             if (map10[item.Key] != item.Value)
110             {
111                 tenAndEleven++;
112             }
113         }
114         List<string> csv = new List<string>();
115         csv.Add("ip,10,10分布,9,9分布,11,11分布");
116         foreach (var item in mapCount11)
117         {
118             var str = item.Key;
119             if (mapCount10.ContainsKey(item.Key))
120             {
121                 str += "," + mapCount10[item.Key];
122                 str += "," + (mapCount10[item.Key] / (double)100000).ToString("F2");
123             }
124             else
125             {
126                 str += ",";
127                 str += ",";
128             }
129             if (mapCount9.ContainsKey(item.Key))
130             {
131                 str += "," + mapCount9[item.Key];
132                 str += "," + (mapCount9[item.Key] / (double)100000).ToString("F2");
133             }
134             else
135             {
136                 str += ",";
137                 str += ",";
138             }
139             str += "," + mapCount11[item.Key];
140             str += "," + (mapCount11[item.Key] / (double)100000).ToString("F2");
141             csv.Add(str);
142         }
143         csv.Add(string.Format("10-1的失效数据：{0}，比例：{2:F2}。10+1的失效数据：{1}，比例：{3:F2}", tenAndNine, tenAndEleven, (tenAndNine / (double)1000000), (tenAndEleven / (double)1000000)));
144         File.WriteAllLines(@"E:\1000.csv", csv, Encoding.UTF8);
145         #endregion
146
147         Console.ReadKey();
148     }
149
150     /// <summary>
151     /// 生成测试key
152     /// </summary>
153     /// <param name="count"></param>
154     /// <returns></returns>
155     private static List<string> LoadTestData(int count = 1000000)
156     {
157         var data = new List<string>(count);
158
159         for (var i = 0; i < count; i++)
160         {
161             data.Add(GetRandomString(15, true, true, true, false, ""));
162         }
163         return data;
164     }
165
166     ///<summary>
167     ///生成随机字符串
168     ///</summary>
169     ///<param name="length">目标字符串的长度</param>
170     ///<param name="useNum">是否包含数字，1=包含，默认为包含</param>
171     ///<param name="useLow">是否包含小写字母，1=包含，默认为包含</param>
172     ///<param name="useUpp">是否包含大写字母，1=包含，默认为包含</param>
173     ///<param name="useSpe">是否包含特殊字符，1=包含，默认为不包含</param>
174     ///<param name="custom">要包含的自定义字符，直接输入要包含的字符列表</param>
175     ///<returns>指定长度的随机字符串</returns>
176     public static string GetRandomString(int length, bool useNum, bool useLow, bool useUpp, bool useSpe, string custom)
177     {
178         byte[] b = new byte[4];
179         new System.Security.Cryptography.RNGCryptoServiceProvider().GetBytes(b);
180         Random r = new Random(BitConverter.ToInt32(b, 0));
181         string s = null, str = custom;
182         if (useNum == true) { str += "0123456789"; }
183         if (useLow == true) { str += "abcdefghijklmnopqrstuvwxyz"; }
184         if (useUpp == true) { str += "ABCDEFGHIJKLMNOPQRSTUVWXYZ"; }
185         if (useSpe == true) { str += "!\"#$%&'()*+,-./:;<=>?@[\\]^_`{|}~"; }
186         for (int i = 0; i < length; i++)
187         {
188             s += str.Substring(r.Next(0, str.Length - 1), 1);
189         }
190         return s;
191     }
192 }

测试代码

测试结果，key总数100万，图中的分布都是以10万为基数：