2019寒假训练营寒假作业（三） 对Sketch——CM-Sketch的理解（理论题部分）

目录

• 优点：
• 劣势:

---

# 实验题部分

---

## 基本题

### 1、简述sketch：
- 对于数据流中大量的元素要统计其特征（出现频率，数据流大小），对数据流多次使用哈希函数将事件映射到频率，在合理的偏差内估计其大小，并显著减少内存占用，是一种可靠性较高的概率统计数据结构。

### 2、Count-min Sketch：
- 预备知识1：通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度，这个映射函数叫做哈希函数或散列函数。主要操作是对数据进行加法、乘法和移位运算。
- 预备知识2：Hash函数的基本特性：
- 1.经过hash后能够得到相应输入的散列值。如果两个散列值是不相同的（根据同一函数），那么这两个散列值的原始输入也是不相同的；
- 2.散列函数的输入和输出不是一一对应的，如果两个散列值相同，两个输入值很可能是相同的但不绝对肯定一定相等（可能出现哈希碰撞）。
- 算法过程：
> 使用d个hash函数，每个hash函数的取值范围都在[1,w]内，从而可以组成一个d * w的二维数组（hash table），该二维数组的长度大小固定。对于每个二元组(k, v)，代表元素k需要更新v次，则分别使用d个hash函数对k进行hash操作，得到d个mapped counters，然后对它们全部增加v（即需要更新的数据）。***（count含义）***
当需要查询某个元素的频率估计值时，也是先根据hash函数得到mapped counters，然后取其中的最小值即可，因为最小代表了冲突次数最少，相对最精确。***（min含义）***

-- 摘引自他人博客《Sketch调研[https://blog.csdn.net/u012332103/article/details/79702495]》，有删改

---

# 开放题部分

## 理论部分

### 1、解释为什么 sketch 可以省空间
Count-min-sketch在处理数据时引入了hash函数，能够把一个大范围映射到一个固定大小的小范围（简单来说，就是将任意长度的二进制值映射为固定长度的、大小唯一的较小二进制值），往往是为了节省空间、加快存取，使得数据容易保存。该函数是CM-Sketch能够极大节省空间的一个关键。
但是相应的代价是：由于上述hash函数的特性，多个key的散列值可能相同（哈希碰撞），从而导致探测计数器的估计值偏大。
因此为了减少哈希碰撞的概率：
- 1、可使用多个哈希函数；
- 2、可使用一个相对于数据足够大的素数进行hash操作；（例如2的32次方附近）
- 3、提高d和w的大小（越大精度越高），但是相应的在估计中使用空间也会增大。

### 2、用流程图描述Count-min sketch的算法过程

备注：

• 1、Ai->Bi，就是IP和对应的请求大小；
• 2、update(Ai, Bi)包括了接下来的hash操作，是给Ai的原对应值上再添加Bi的值；
• 3、estimate(Ai)，得到各个探测计数器中的最小值并返回最小值；
• 4、边输入边算，这种流程图的方法，可能会多次重复输出已经输出过的Ai->Bi。

### 3、拿它和你改进后方法进行对比，分析优劣

优点：

• 1、只需利用相对独立的hash函数就能够解决内存占用问题，对庞大的数据流可以实时处理，直接通过hash函数也可以直接找到的对应的value，无需遍历，降低时间空间复杂度。
• 2、不需要精确估计数据包大小，适用于范围性问题，虽然结果可能偏大，但是理论上可以控制在合理误差范围内。
• 3、拓展性强，由于不容易受数据长度大小的影响，加上键-值对应，在此基础上可以发展成统计其他数据特征的数据结构。本人的原始代码只能处理一种定长格式的数据的其中一种特征。

劣势:

• 1、CM-Sketch的实现难度明显高于本人的代码，需要更深的知识掌握（例如两两独立的hash函数要如何创建），如果要求更高的精度，代码将会越复杂。
• 2、对于低频的数据估计值误差会偏大，可能不适用于需要太过精确判断的问题中。

### 4、吐槽Count-min sketch

• 1、外国人写个代码还好基本对函数和基本单元进行了封装，不然真的看不懂；
• 2、低频数据的准确度有时差到惊人，甚至有内存分配出错的状态发生（或许是我改动完以后的问题）（二更：不是我的问题， 代码自身的hash算法其中的大数运算导致的，已修改）；
• 3、hash算法和整体架构修改起来并不简单，但是看懂之后才会好很多。而且貌似偶尔会导致堆损坏？这个问题很不解,但是免不了对堆的维护，但它不会中断程序（如下截图，其中一次堆损坏）。