hash function比较

http://blog.csdn.net/kingstar158/article/details/8028635

由于工作需要，针对千万级别的数据，使用stl::map着实存在着效率问题，最后使用boost::unordered_map替代前者，发现效率上有很大的提升，但是还是无法达到我们的需求；

stl::map  底层算法：B+tree 实现

boost::unordered_map 底层算法：hash 实现

所以可能要针对不同的数据类型编写hash function来优化查找和插入的效率，自己编写，着实没有这个实力，只有在google上来寻找先辈们的精妙算法来借鉴：

常用字符串哈希函数有BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等等；

有前辈做了评测：如下

ash函数	数据1	数据2	数据3	数据4	数据1得分	数据2得分	数据3得分	数据4得分	平均分
BKDRHash	2	0	4774	481	96.55	100	90.95	82.05	92.64
APHash	2	3	4754	493	96.55	88.46	100	51.28	86.28
DJBHash	2	2	4975	474	96.55	92.31	0	100	83.43
JSHash	1	4	4761	506	100	84.62	96.83	17.95	81.94
RSHash	1	0	4861	505	100	100	51.58	20.51	75.96
SDBMHash	3	2	4849	504	93.1	92.31	57.01	23.08	72.41
PJWHash	30	26	4878	513	0	0	43.89	0	21.95
ELFHash	30	26	4878	513	0	0	43.89	0	21.95

其中数据1为100000个字母和数字组成的随机串哈希冲突个数。数据2为100000个有意义的英文句子哈希冲突个数。数据3为数据1的哈希值与1000003(大素数)求模后存储到线性表中冲突的个数。数据4为数据1的哈希值与10000019(更大素数)求模后存储到线性表中冲突的个数。

各种hash function的C 语言实现：

1. unsigned int SDBMHash(char *str)
2. {
3. unsigned int hash = 0;
4. while (*str)
5. {
6. // equivalent to: hash = 65599*hash + (*str++);
7. hash = (*str++) + (hash << 6) + (hash << 16) - hash;
8. }
9. return (hash & 0x7FFFFFFF);
10. }
11. // RS Hash Function
12. unsigned int RSHash(char *str)
13. {
14. unsigned int b = 378551;
15. unsigned int a = 63689;
16. unsigned int hash = 0;
17. while (*str)
18. {
19. hash = hash * a + (*str++);
20. a *= b;
21. }
22. return (hash & 0x7FFFFFFF);
23. }
24. // JS Hash Function
25. unsigned int JSHash(char *str)
26. {
27. unsigned int hash = 1315423911;
28. while (*str)
29. {
30. hash ^= ((hash << 5) + (*str++) + (hash >> 2));
31. }
32. return (hash & 0x7FFFFFFF);
33. }
34. // P. J. Weinberger Hash Function
35. unsigned int PJWHash(char *str)
36. {
37. unsigned int BitsInUnignedInt = (unsigned int)(sizeof(unsigned int) * 8);
38. unsigned int ThreeQuarters  = (unsigned int)((BitsInUnignedInt  * 3) / 4);
39. unsigned int OneEighth      = (unsigned int)(BitsInUnignedInt / 8);
40. unsigned int HighBits        = (unsigned int)(0xFFFFFFFF) << (BitsInUnignedInt - OneEighth);
41. unsigned int hash            = 0;
42. unsigned int test            = 0;
43. while (*str)
44. {
45. hash = (hash << OneEighth) + (*str++);
46. if ((test = hash & HighBits) != 0)
47. {
48. hash = ((hash ^ (test >> ThreeQuarters)) & (~HighBits));
49. }
50. }
51. return (hash & 0x7FFFFFFF);
52. }
53. // ELF Hash Function
54. unsigned int ELFHash(char *str)
55. {
56. unsigned int hash = 0;
57. unsigned int x  = 0;
58. while (*str)
59. {
60. hash = (hash << 4) + (*str++);
61. if ((x = hash & 0xF0000000L) != 0)
62. {
63. hash ^= (x >> 24);
64. hash &= ~x;
65. }
66. }
67. return (hash & 0x7FFFFFFF);
68. }
69. // BKDR Hash Function
70. unsigned int BKDRHash(char *str)
71. {
72. unsigned int seed = 131; // 31 131 1313 13131 131313 etc..
73. unsigned int hash = 0;
74. while (*str)
75. {
76. hash = hash * seed + (*str++);
77. }
78. return (hash & 0x7FFFFFFF);
79. }
80. // DJB Hash Function
81. unsigned int DJBHash(char *str)
82. {
83. unsigned int hash = 5381;
84. while (*str)
85. {
86. hash += (hash << 5) + (*str++);
87. }
88. return (hash & 0x7FFFFFFF);
89. }
90. // AP Hash Function
91. unsigned int APHash(char *str)
92. {
93. unsigned int hash = 0;
94. int i;
95. for (i=0; *str; i++)
96. {
97. if ((i & 1) == 0)
98. {
99. hash ^= ((hash << 7) ^ (*str++) ^ (hash >> 3));
100. }
101. else
102. {
103. hash ^= (~((hash << 11) ^ (*str++) ^ (hash >> 5)));
104. }
105. }
106. return (hash & 0x7FFFFFFF);
107. }
108. https://www.byvoid.com/blog/string-hash-compare/