Cuckoo Hash

最近在看APSI中，涉及到了一些hash技术（朴素hash，置换hash，布谷鸟hash），Hash 技术是 PSI 协议中优化通信复杂度和计算杂度的重要工具之一，现在系统的认识一下！

更多关于哈希函数的参考：哈希函数

朴素hash(plain hash)

使用\(ℎℎ_(·)\)将元素映射到具有 b 个桶的 Hash 表 T 中的 \(k\)个位置, 每个桶最多有\(lb(n)\)个元素(\(n\)为集合的元素个数)，其中\(ℎℎ_(·)\)表示\(k\)个不同的Hash 函数 \(h_1(·), h_2(·),...,h_k(·)\).

比如：

该表中有四个桶，每个桶中最多可以存4个值。

置换hash(permutation-based hash)

将元素转化为更短的字符串并存储在 Hash 表中, 以此减少存储空间和计算复杂度.

元素插入如下: 元素 \(x\) 表示为bit 的形式并拆分为 2 部分 \(x_1, x_2\). 为元素获取 Hash表的索引: \(_1 ⊕ (_2)\), \(H\) 为 Hash 函数.

最后桶中存储大小为\(|_2| = || − |_1|\)，其中\(|x|\)表示 \(x\) 的比特长度；\(⊕\)表示按位异或.

布谷鸟hash(cuckoo hash)

思考一个问题：为什么要用布谷鸟哈希？

1、首先是能隐藏数据

2、是一个高性能的哈希方案

3、哈希的本质是从一个较大空间映射到一个较小的空间，因此在插入数据足够多之后，根据鸽巢原理，一定会存在位置冲突。常见的哈希表（Hash Table 或者字典，dictionary）会通过链表、开放地址探测等方式来处理冲突。单桶多函数的布谷鸟哈希，便是开放地址法处理冲突的一种哈希表，只不过有冲突后，不是通过线性寻找新的位置，而是通过额外哈希函数来寻找。

背景

Cuckoo中文名叫布谷鸟，这种鸟有一种即狡猾又贪婪的习性，它不肯自己筑巢， 而是把蛋下到别的鸟巢里，而且它的幼鸟又会比别的鸟早出生，布谷幼鸟天生有一种残忍的动作，幼鸟会拼命把未出生的其它鸟蛋挤出窝巢，今后以便独享“养父 母”的食物。借助生物学上这一典故，cuckoo hashing处理碰撞的方法，就是把原来占用位置的这个元素踢走，不过被踢出去的元素还要比鸟蛋幸运，因为它还有一个备用位置可以安置，如果备用位置上 还有人，再把它踢走，如此往复。直到被踢的次数达到一个上限，才确认哈希表已满，并执行rehash操作。

定义

布谷鸟哈希最早是 Rasmus Pagh 和 Flemming Friche Rodler 在 2001 年一次会议上公开的 。

思想

使用\(ℎℎ_(·)\)将元素 \(e\) 映射到具有 \(b\) 个桶的 Hash 表 T 中的某一个位置, 确保每个桶只能有 1 个元素:

• 计算 \(h_1(e), h_2(e), ..., h_k(e)\), 如果 \(T[h_1(e)], T[h_2(e)], …, T[h_k(e)]\)至少有 1 个桶为空, 则随机插入；如果都不为空, 则随机选择\(T[h_i(e)]\), 替换桶中的元素 \(T[h_i(e’)]\), 再对被替换元素\(e’\)执行上述操作.

当上述替换操作达到一定阈值时, 则将 \(e’\)放置在额外的存储空间 stash 中. 因此, 元素 \(e\)必定在以下容器中找到: \(T[h_1(e)], T[h_2(e)], …, T[h_k(e)]\)或 \(stash\). 由于 \(stash\) 可能会存在溢出威胁而导致Hash 错误, Pinkas 等人[5]通过实验分析出 Hash 函数个数、\(stash\) 大小和桶数 \(b\) 的最佳关系.

变种

布谷鸟哈希可以有很多变种

使用两个哈希函数和一个哈希桶（表只有一个桶）

1. 对key值hash，生成两个hash key值，hashk1和 hashk2, 如果对应的两个位置上有一个为空，那么直接把key插入即可。
2. 否则，任选一个位置，把key值插入，把已经在那个位置的key值踢出来。
3. 被踢出来的key值，需要选择另外一个hash函数插入，直到没有key被踢出为止。

下面是第一种情况，有空位置，直接插入即可！

下面是出现碰撞的情况，需要被踢出，选择另外一个hash函数重新插入

举例

假设有两个hash函数：



下面依次插入item：

可以看作两张表，但序号是一致的。

当再次插入item：6时，就出现了问题，插入失败：

应用

cmu 大学的 Bin Fan 等人，在 2014 年发表了一篇名为：Cuckoo Filter: Practically Better Than Bloom的论文，基本思想是将布谷鸟哈希（cuckoo hash）的思想应用于集合（set membership）方向，可以替代工程中常用的 Bloom Filter（布隆过滤器），有以下优势：

1、支持删除元素

2、更高的查询效率，尤其在高负载因子时

3、相比其他支持删除的 Filter 更容易实现

4、如果期望误报率在 3% 以下，所用空间比 Bloom Filter 少

为了达到以上效果，Cuckoo Filter 对原 Cuckoo Hash 做了如下改变：

1、为了提高桶的利用率，使用多路哈希桶。

2、为了减少内存的使用，只存储 key 指纹（不懂就问，什么是key指纹？）。

实现

微软有一个开源库：Kuku，下面说一下怎么用。

介绍

Kuku是一个简单的开源（MIT许可）布谷鸟哈希库，由微软的加密和隐私研究小组开发。KuCu是用现代标准C++编写的，没有外部依赖关系，便于在许多不同的环境中编译和运行。

cuckoo hash

布谷鸟哈希是一种哈希技术，可以实现非常高的填充率，尤其能创建高效的哈希表，每个桶（bin）中只有一个项目。这是通过使用多个（通常是2、3或4个）不同的哈希函数实现的，如下所示：

（1）\(H_1, H_2, ..., H_k\)表示hash函数

（2）当\(X\)要插入时，任意选择一个hash函数\(H_j\)，判断对应的bin是否为空(\(H_j(X)\)所对应的位置)，如果为空，则插入\(X\)，返回\(True\)；否则，移除bin中存在的值\(Y\)，将\(X\)插入到该位置，\(Y\)则重新执行插入操作（选用其他的hash函数）

（3）如果尝试多次后失败，则将item放入预准备好的最大容量的桶（stash）中，然后返回\(True\)

（4）如果stash已经达到装满，将该item储存在"已知位置"并返回\(False\)

不太理解这个已知位置；stash可以看作是另外一张hash表

为了判断一个item：\(Z\)是否在hash表中，需要逐个比较\(H_1(Z), H_2(Z), ..., H_k(Z)\)，stash同样也是。如果不需要使用stash，则使长度为0即可。

kuku

Kuku是一个简约的库，它支持布谷鸟哈希的某些变体，如上所述。它使用Tabulation hashing作为hash函数。Kuku中的item的长度正好是128位，不能增加；然而较长的item总是可以使用其他一些接受任意输入长度的哈希函数哈希到128位，并且输出可以随后在Kuku中使用。

Tabulation hashing：一种特殊的hash函数

安装

//下载库
git clone https://github.com/Microsoft/Kuku 

//编译，这样生成的静态文件/build/lib/libkuku-2.1.a，但没有编译example和test下文件
cd kuku-main
cmake -S . -B build
cmake --build build

//编译（exapme和test）
cmake -S . -B build -DKUKU_BUILD_EXAMPLES=ON
cmake -S . -B build -DKUKU_BUILD_TESTS=ON
cmake --build build

最后结果在/build/bin下：

使用

example实例

主要模块

主要是src/kuku下的文件

（1）locfunc

（2）kuku

（3）common

参考

1、Cuckoo Hash 布谷鸟哈希

2、布谷鸟哈希和布谷鸟过滤器

3、CUCKOO FILTER：设计与实现

4、面向隐私保护的集合交集计算综述

5、Scalable private set intersection based on OT extension