转：minhash

Minhash算法及其应用

一、引言

MinHash算法属于Locality Sensitive Hashing，用于快速估计两个集合的相似度。最早由Broder Andrei Z. 在1997年提出，最初在AltaVista搜索引擎中用于在搜索结果中检测并消除重复Web页面。如今广泛应用于大数据集的相似检索、推荐系统、聚类分析等中。

Minhash算法

计算两个集合相似度最简单的方法之一是Jaccard距离，其公式如下：

例如集合A = {s1, s2, s3, s4, s5}和B = {s1, s5, s6, s7}的Jaccard距离

当两个集合很大时，计算Jaccard距离会很耗资源，我们从集合A和B的合集中随机抽取一个元素，记为X，那么X既属于A又属于B的概率是，即Jaccard相似度。

基于这一原理，我们进行如下操作：首先找一个具有很好的均匀性的随机映射hash函数，对各自集合的每一个元素作hash运算得到hash值集合，并在各自hash集合里找出最小hash值，记为，称为最小hash操作。由于随机的等概率性，那么相等的概率等于，即从另一角度解释：选取一个hash函数进行最小hash操作相当于选取集合A和B合集中的一个元素的选取，由于随机性，这个最小hash值对应的元素属于两个集合的交集的概率即是，也即这个随机操作时 相等情况的概率。

假如我们使用k个不同的hash函数，其中k是固定的整数，使用这k个函数对这两个集合进行最小hash操作，记y是使得相等hash函数个数，那么使用y/k可以作为集合A和B的Jaccard相似度的估计。且此估计是无偏估计，而且可以通过增加k来减少估计方差。

但是计算多个hash函数的代价太高，因此另一种实现方法是仅使用单一的哈希函选出其中的多个值来估计。例如对集合A和B使用一个hash函数得到各自m个最小hash值作为各自的特征集合，那么他们特征集合的Jaccard相似度可以作为原两个集合间的Jaccard相似度的估计。

二、应用

在推荐系统中往往需要计算两个物品的相似度，而它是根据用户对物品感兴趣的历史记录来协同计算的，而用户量会远远大于物品的量，如下情况，U1-S3元素为1表示用户U1对物品S3感兴趣，0表示未知或不敢兴趣。

用户\物品	S1	S2	S3	S4
U1	1	0	0	1
U2	0	0	1	1
U3	1	1	0	0
U4	0	1	1	0
U5	1	0	1	1
U6	0	0	1	0
…	…	…	…	…

当用户很多时我们不可能每算一个物品的minhash就扫一遍整列，那么可以采用模拟随机抽取的方法扫一遍记录来得到。我们选择n个随机hash函数来顺序构建签名矩阵，假设是矩阵的第i个hash函数和第c列，中所有值最初设为无穷大，然后按照下面的方法来逐行往下处理行：

计算第r行 ~~~~

对于所有的列c：如果是0，不做任何操作；如果是1，那么对于那么更新为当前的和的最小值。

这样操作后只要扫一遍记录就可以得到每个物品的n个最小hash值集合，如下图：

minHash\物品	S1	S2	S3	S4
h1	1	2	2	1
h2	1	1	3	2
h3	1	2	1	1

那么估计的相似度：，而真实的相似度为，估计与真实值比较接近。

然而当物品S还是很多时，找出相近的物品或者对物品聚类的时间复杂度还

我们可以用Locality Sensitive Hashing原理根据minhash值先将相近的物品放入同一个桶，然后缩小聚类范围。具体的讲，如先将12个不同的hash函数计算得到minhash组，然后将其分成了b=4个区间，每个区间r=3个minhash值。那么对于物品A和B在一个区间，3个minhash组都相同的概率是（ S是物品A和B的Jaccard相似度），而至少有一个区间内A和Bminhash组都相同的概率是也就是说A和B会进入同一个桶的概率函数它是一个如下S型函数：

也就是说相似度大于0.7的两物品会分到同一个桶的概率是0.975。

这种方法不仅可以计算近似物品或相似的用户，也可以用户近似图像的搜索，将图像提取局部不变或全局特征后用minhash降维做最邻近搜索，就可以匹配到相同或轻微变化的图片。

在数据挖掘领域中，minhash也可作为关联规则学习，用来辨别频繁共同出现的属性候选对，然后仅计算这些候选对的确切系数值，以确定哪些项目共同出现的频度低于一个给定的严格阈值。

三、参考资料

[1]http://en.wikipedia.org/wiki/MinHash

[2]http://en.wikipedia.org/wiki/Locality_sensitive_hashing

[3]On the resemblance and containment of documents, Compression and Complexity of Sequences: Proceedings, Positano, Amalfitan Coast, Salerno, Italy, June 11-13, 1997, IEEE, pp. 21–29, doi:10.1109/SEQUEN.1997.666900

[4]Mining of Massive Datasets, Anand Rajaraman, Jeffrey David Ullman, Cambridge University Press New York, NY, USA 2011

[5]Google news personalization: scalable online collaborative filtering, Das, Abhinandan S., Mayur Datar, Ashutosh Garg, and Shyam Rajaram, In Proceedings of the 16th international conference on World Wide Web, 271–280. WWW ’07. New York, NY, USA: ACM, 2007.

[6]Near duplicate image detection: min-hash and tf-idf weighting , Philbin, James; Zisserman, Andrew, Proceedings of the British Machine Vision Conference, 3. 2008: 4.

[7]Finding interesting associations without support pruning, Cohen, E.; Datar, M.; Fujiwara, S. Gionis, A.; IEEE Transactions on Knowledge and Data Engineering. 2001, 13 (1): 64–78, doi:10.1109/69.908981.

转自：

https://sq.163yun.com/blog/article/185455192954839040