彩虹表（rainbow table）

前记

MD5的全称是Message-Digest Algorithm 5（信息-摘要算法）；

特点是不可逆的，一般解密不了；那有没有想过，为什么各种工具网站都可以进行MD5解密呢？https://www.sojson.com/encrypt_md5.html

彩虹表，了解一下。

1. 如何存储密码才是安全的？

密码存储有几种方式：

直接存储密码明文m
存储密码明文的哈希值hash(m)
存储密码明文的加盐哈希 hash(m+salt)，这里的salt可以是用户名，手机号等，但必须保证每个用户的salt都不一样才是安全的。

如果数据库被入侵。
第一方式，明文存储，无安全性可言。
第二种方式，虽然是入侵者得到的是hash值，但由于彩虹表的存在，也很容易批量还原出密码明文来。
只有第三种方式才是相对安全的。

2. 彩虹表不是密码-->明文的简单存储

要从c=hash(m)逆向得到原始明文m，有三种办法：

暴力破解法：时间成本太高。
字典法：提前构建一个“明文->密文”对应关系的一个大型数据库，破解时通过密文直接反查明文。但存储一个这样的数据库，空间成本是惊人的。
构建彩虹表：在字典法的基础上改进，以时间换空间。是现在破解哈希常用的办法。

3. 彩虹表的前身--预先计算的散列链

既然存储所有的明文密码对需要的空间太大，密码学家们想出了一种以计算时间降低存储空间的办法：“预计算的哈希链集”（Precomputed hash chains）。
这是一条k=2哈希链：

哈希链

H函数就是要破解的哈希函数。
约简函数（reduction function）R函数是构建这条链的时候定义的一个函数：它的值域和定义域与H函数相反。通过该函数可以将哈希值约简为一个与原文相同格式的值。
这条链是这样生成的：

随机选择一个明文aaaaaa
对其求哈希得到281DAF40
R(281DAF40) 得到另外一个明文sgfnyd。
继续重复2,3步骤
存储的时候，不需要存储所有的节点，只需要存储每条链的头尾节点（这里是aaaaaa和kiebgt）

以大量的随机明文作为起节点，通过上述步骤计算出哈希链并将终节点进行储存，可得到一张哈希链集。

预计算的哈希链集的使用

要破解一个hash值，

假设其刚好是920ECF10：首先对其进行一次R运算，得到kiebgt，然后发现刚好命中了哈希链集中的（aaaaaa,kiebgt）链条。可以确定其极大概率在这个链条中。于是从aaaaaa开始重复哈希链的计算过程，发现sgfnyd的哈希结果刚好是920ECF10,于是破解成功。
密文不是“920ECF10”而是“281DAF40”：第一次R运算后的结果并未在末节点中找到，则再重复一次H运算+R运算，这时又得到了末节点中的值“kiebgt”。于是再从头开始运算，可知aaaaaa刚好可哈希值为281DAF40。
如是重复了k（=2）次之后，仍然没有在末节点中找到对应的值，则破解失败。

预计算的哈希链集的意义

对于一个长度为k的预计算的哈希链集，每次破解计算次数不超过k，因此比暴力破解大大节约时间。
每条链只保存起节点和末节点，储存空间只需约1/k，因而大大节约了空间。

R函数的问题

要发挥预计算的哈希链集的左右，需要一个分布均匀的R函数。当出现碰撞时，就会出现下面这种情况
111 --H--> EDEDED --R--> 222 --H--> FEDEFE --R--> 333 --H--> FEFEDC --R--> 444
454 --H--> FEDECE --R--> 333 --H--> FEFEDC --R--> 444 -H--> FEGEDC --R--> 555

两条链出现了重叠。这两条哈希链能解密的明文数量就远小于理论上的明文数2×k。由于集合只保存链条的首末节点，因此这样的重复链条并不能被迅速地发现。

4. 彩虹表

彩虹表的出现，针对性的解决了R函数导致的链重叠问题：
它在各步的运算中，并不使用统一的R函数，而是分别使用R1…Rk共k个不同的R函数（下划线表示下标）。

彩虹表

这样一来，及时发生碰撞，通常会是下面的情况：
111 --H--> EDEDED --R1--> 222 --H--> FEDEFE --R2--> 333 --H--> FEFEDC --R3--> 444
454 --H--> FEDECE --R1--> 333 --H--> FEFEDC --R2--> 474 -H--> FERFDC --R3--> 909
即使在极端情况下，两个链条同一序列位置上发生碰撞，导致后续链条完全一致，这样的链条也会因为末节点相同而检测出来，可以丢弃其中一条而不浪费存储空间。

4.1 彩虹表的使用

彩虹表的使用比哈希链集稍微麻烦一些。

首先，假设要破解的密文位于某一链条的k-1位置处，对其进行Rk运算，看是否能够在末节点中找到对应的值。如果找到，则可以如前所述，使用起节点验证其正确性。
否则，继续假设密文位于k-2位置处，这时就需要进行Rk-1、H、Rk两步运算，然后在末节点中查找结果。
如是反复，最不利条件下需要将密文进行完整的R1、H、…Rk运算后，才能得知密文是否存在于彩虹表之中。

4.2 彩虹表中时间、空间的平衡

对于哈希链集，最大计算次数为k，平均计算次数为k/2
彩虹表的最大计算次数为1+2+3+……k = k(k-1)/2，平均计算次数为[(k+2) * (k +1)]/6。
可见，要解相同个数的明文，彩虹表的代价会高于哈希链集。

无论哈希链集还是彩虹表：
当k越大时，破解时间就越长，但彩虹表所占用的空间就越小；
相反，k越小时，彩虹表本身就越大，相应的破解时间就越短。

4.3 常见的彩虹表和R函数举例

1）常见的彩虹表：http://project-rainbowcrack.com/table.htm
2）R函数举例：假设明文为5位数字，则R函数是取哈希值中前5个数字。参见https://crypto.stackexchange.com/questions/5900/example-rainbow-table-generation

5. 彩虹表的获取

可以自己编程生成彩虹表，也可以使用RainbowCrack或Cain等软件来生成，有兴趣的读者可以自行百度。彩虹表的生成时间与字符集的大小、哈希链的长度成正比，如下图中“7位密码、全部字符集、哈希链长度为2万”的彩虹表大小为32G，本地生成大约需要332天，而从网上下载只需要2个小时左右，主流的彩虹表的大小普遍在100G以上，想要自己生成是几乎不可能的事，因此强烈建议黑客技术爱好者直接从网上下载。

彩虹表确实像它的名字一样美好，至少黑客眼里是这样。上表是7位以内密码在不同字符集下构造出的彩虹表的情况，彩虹表中哈希链的长度和个数随着字符集的增长而增长，彩虹表的大小和生成时间也随之成倍增加。7位数字组合在彩虹表面前简直就是秒破，即使最复杂的7位密码不到一个小时就能破解，如果采用普通的暴力攻击，破解时间可能需要三周。

6. 如何防御彩虹表

虽然彩虹表有着如此惊人的破解效率，但网站的安全人员仍然有办法防御彩虹表。最有效的方法就是“加盐”，即在密码的特定位置插入特定的字符串，这个特定字符串就是“盐”，加盐后的密码经过哈希加密得到的哈希串与加盐前的哈希串完全不同，黑客用彩虹表得到的密码根本就不是真正的密码。即使黑客知道了“盐”的内容、加盐的位置，还需要对H函数和R函数进行修改，彩虹表也需要重新生成，因此加盐能大大增加利用彩虹表攻击的难度。

7. 为什么加盐哈希可以抵御彩虹表

彩虹表在生成的过程中，针对的是特定的函数H，H如果发生了改变，则已有的彩虹表数据就完全无法使用。
如果每个用户都用一个不同的盐值，那么每个用户的H函数都不同，则必须要为每个用户都生成一个不同的彩虹表。大大提高了破解难度。