笔记-算法-hash以及hashlib使用

算法-hash和hash表以及hashlib使用

1.      简介

1.1.    hash

Hash（散列/哈希），就是把任意长度的输入（预映射pre-image）通过散列算法变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来确定唯一的输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。

在pyhon编程中一般使用hashlib库就可以了。

2.      HASHLIB

python中的hashlib模块用来进行hash或者md5加密，这种加密是不可逆的，所以这种算法又被称为摘要算法。其支持Openssl库提供的所有算法，包括md5、sha1、sha224、sha256、sha512等。注意：md5在部分环境中不可用。

2.1.    简单使用

import hashlib

m = hashlib.md5() #创建对象

m.update(b“how to use md5”) #哈希，可多次调用 m.update(str1) m.update(str2) 等效于m.update(str1+str2)

m.update(b”yes”)

m.hexdigest() #返回16进制的哈希值

2.2.    其它函数及属性

2.2.1.   算法选择

m1 = hashlib.new('ripemd160')     #注册新的算法，算法来源依赖opensll库
m1.update(b'abcde')
print(m1.hexdigest())

hashlib.algorithms_guaranteed #返回能够在各平台都支持的算法名

print(hashlib.algorithms_available) #返回目前可用算法, 可用于new()，guaranteed是它的子集

2.2.2.  
哈希值查看

digest() hexdigest() #两者均返回hash值，但digest()返回二进制数据

下面两行的输出效果是一样的

import binasii

print(binascii.b2a_hex(m.digest()))
print(m.hexdigest())

2.2.3.  
属性

hash对象属性

hash.digest_size 结果的大小

hash.block_size 块大小

hash.name 名字

hash.update(arg) 看例子

hash.digest() 字节串

hash.hexdigest() 字符串

hash.copy() 返回hash对象的拷贝

2.2.4.  
其它函数

特别包含了用于密码加密的函数，包括加盐功能

hashlib.pbkdf2_hmac(hash_name, password,
salt, iterations, dklen=None)

hash_name 算法名称

password 要加密的密码

salt 建议16字节或更长

iterations 迭代次数,取决于算法和计算能力,

dklen 结果长度

返回值是字节串

案例：

import binascii

from datetime import datetime

t1 = datetime.now()

dk = hashlib.pbkdf2_hmac('md5', b'password',
b'salt', 100000)

t2 = datetime.now()

t = (t2 - t1).seconds + (t2 -
t1).microseconds / 1000000

print(t)

m = binascii.hexlify(dk)

print(m)

------hash原理及其它------

3.     
hash表原理解说

给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为哈希(Hash）表，函数f(key)为哈希(Hash) 函数。

基本概念：

若关键字为k，则其值存放在f(k)的存储位置上。由此，不需比较便可直接取得所查记录。称这个对应关系f为散列函数，按这个思想建立的表为散列表。

对不同的关键字可能得到同一散列地址，即k1≠k2，而f(k1)=f(k2)，这种现象称为碰撞（英语：Collision）。具有相同函数值的关键字对该散列函数来说称做同义词。综上所述，根据散列函数f(k)和处理碰撞的方法将一组关键字映射到一个有限的连续的地址集（区间）上，并以关键字在地址集中的“像”作为记录在表中的存储位置，这种表便称为散列表，这一映射过程称为散列造表或散列，所得的存储位置称散列地址。

若对于关键字集合中的任一个关键字，经散列函数映象到地址集合中任何一个地址的概率是相等的，则称此类散列函数为均匀散列函数（Uniform Hash function），这就是使关键字经过散列函数得到一个“随机的地址”，从而减少碰撞。

3.1.   
实现hash表的常用算法

实际工作中需视不同的情况采用不同的哈希函数，通常考虑的因素有：

· 计算哈希函数所需时间

· 关键字的长度

· 哈希表的大小

· 关键字的分布情况

· 记录的查找频率

常用方法：

1. 直接寻址法：取关键字或关键字的某个线性函数值为散列地址。即H(key)=key或H(key) = a·key + b，其中a和b为常数（这种散列函数叫做自身函数）。若其中H(key）中已经有值了，就往下一个找，直到H(key）中没有值了，就放进去。

优点：简单、均匀，也不会产生冲突。

缺点：需要事先知道关键字的分布情况，适合查找表较小且连续的情况。

由于这样的限制，在现实应用中，此方法虽然简单，但却并不常用。

1. 数字分析法：分析一组数据，比如一组员工的出生年月日，这时我们发现出生年月日的前几位数字大体相同，这样的话，出现冲突的几率就会很大，但是我们发现年月日的后几位表示月份和具体日期的数字差别很大，如果用后面的数字来构成散列地址，则冲突的几率会明显降低。因此数字分析法就是找出数字的规律，尽可能利用这些数据来构造冲突几率较低的散列地址。

总之就是找出一个散列函数，将关键字分配到散列表的各个位置。

1. 平方取中法：当无法确定关键字中哪几位分布较均匀时，可以先求出关键字的平方值，然后按需要取平方值的中间几位作为哈希地址。这是因为：平方后中间几位和关键字中每一位都相关，故不同关键字会以较高的概率产生不同的哈希地址。

设关键字为1234，那么它的平方就是1522756，可以从中选取几位做区分；

平方取中法比较适合不知道关键字的分布，而位数又不是很大的情况

1. 折叠法：将关键字分割成位数相同的几部分，最后一部分位数可以不同，然后取这几部分的叠加和（去除进位）作为散列地址。数位叠加可以有移位叠加和间界叠加两种方法。移位叠加是将分割后的每一部分的最低位对齐，然后相加；间界叠加是从一端向另一端沿分割界来回折叠，然后对齐相加。

1. 随机数法：选择一随机函数，取关键字的随机值作为散列地址，通常用于关键字长度不同的场合。

1. 除留余数法：取关键字被某个不大于散列表表长m的数p除后所得的余数为散列地址。即 H(key) = key MOD p,p<=m。不仅可以对关键字直接取模，也可在折叠、平方取中等运算之后取模。对p的选择很重要，一般取素数或m，若p选的不好，容易产生同义词。

3.2.   
散列冲突

在理想的情况下，每一个关键字，通过散列函数计算出来的地址都是不一样的。可现实中，会碰到两个关键字key1 != key2，但是却有f(key1) = f(key2)，这种现象称为冲突。出现冲突将会造成查找错误，可以通过精心设计散列函数让冲突尽可能的少，但是不能完全避免。

下面介绍一些常见解决办法：

3.2.1.  
 开放定址法

所谓的开放定址法就是一旦发生了冲突，就去寻找下一个空的散列地址，只要散列表足够大，空的散列地址总能找到，并将记录存入。

它的公式为：

比如说，关键字集合为{12,
67, 56, 16, 25, 37, 22, 29, 15, 47, 48, 34}，表长为12。散列函数f(key) =
key mod 12。

当计算前5个数{12, 67,
56, 16, 25}时，都是没有冲突的散列地址，直接存入，如下表所示。

计算key = 37时，发现f(37) = 1，此时就与25所在的位置冲突。于是应用上面的公式f(37) = (f(37) + 1) mod 12 =2,。于是将37存入下标为2的位置。如下表所示。

接下来22,29,15,47都没有冲突，正常的存入，如下标所示。

到了48，计算得到f(48) =
0，与12所在的0位置冲突了，不要紧，我们f(48) = (f(48) + 1） mod 12 = 1，此时又与25所在的位置冲突。于是f(48) = (f(48) + 2） mod 12 = 2，还是冲突......一直到f(48) = (f(48) + 6） mod 12 = 6时，才有空位，如下表所示。

把这种解决冲突的开放定址法称为线性探测法。

考虑深一步，如果发生这样的情况，当最后一个key = 34，f(key) = 10，与22所在的位置冲突，可是22后面没有空位置了，反而它的前面有一个空位置，尽管可以不断地求余后得到结果，但效率很差。因此可以改进di=12, -12, 22, -22.........q2, -q2(q<= m/2)，这样就等于是可以双向寻找到可能的空位置。对于34来说，取di = -1即可找到空位置了。另外，增加平方运算的目的是为了不让关键字都聚集在某一块区域。称这种方法为二次探测法。

还有一种方法，在冲突时，对于位移量di采用随机函数计算得到，称之为随机探测法。

既然是随机，那么查找的时候不也随机生成di 吗？如何取得相同的地址呢？这里的随机其实是伪随机数。伪随机数就是说，如果设置随机种子相同，则不断调用随机函数可以生成不会重复的数列，在查找时，用同样的随机种子，它每次得到的数列是想通的，相同的di 当然可以得到相同的散列地址。

总之，开放定址法只要在散列表未填满时，总是能找到不发生冲突的地址，是常用的解决冲突的方法。

3.2 再散列函数法

对于散列表来说，可以事先准备多个散列函数。

这里RHi 就是不同的散列函数，可以把前面说的除留余数、折叠、平方取中全部用上。每当发生散列地址冲突时，就换一个散列函数计算。

这种方法能够使得关键字不产生聚集，但相应地也增加了计算的时间。

3.3 链地址法

将所有关键字为同义词的记录存储在一个单链表中，称这种表为同义词子表，在散列表中只存储所有同义词子表前面的指针。对于关键字集合{12, 67, 56, 16, 25, 37, 22, 29, 15, 47, 48, 34}，用前面同样的12为余数，进行除留余数法，可以得到下图结构。

此时，已经不存在什么冲突换地址的问题，无论有多少个冲突，都只是在当前位置给单链表增加结点的问题。

链地址法对于可能会造成很多冲突的散列函数来说，提供了绝不会出现找不到地址的保证。当然，这也就带来了查找时需要遍历单链表的性能损耗。

3.4 公共溢出区法

这个方法其实更好理解，你冲突是吧？那重新给你找个地址。为所有冲突的关键字建立一个公共的溢出区来存放。

就前面的例子而言，共有三个关键字37、48、34与之前的关键字位置有冲突，那就将它们存储到溢出表中。如下图所示。

在查找时，对给定值通过散列函数计算出散列地址后，先与基本表的相应位置进行比对，如果相等，则查找成功；如果不相等，则到溢出表中进行顺序查找。如果相对于基本表而言，有冲突的数据很少的情况下，公共溢出区的结构对查找性能来说还是非常高的。

4.     
附录

4.1.   
加盐

注意：摘要算法与加密不同，以下加密非术语，仅为口语描述；

加密最常用场景的肯定是用户密码加密了

假设密码为123456，明文放到数据库太不安全了，进行md5得到摘要字符串：

e10adc3949ba59abbe56e057f20f883e

当需要验证口令时对用户输入的口令进行哈希，如果得到的字符串与数据库中一致则口令正确，这样有一个好处是数据库中没有明文口令，管理方无需知道用户密码。

破解算法很难，但我们可以对于部分常用密码，进行hash得到对应的MD5值，这样，不需要破解，只需要对比数据库中的MD5值，就可以得到对应密码。

常用口令的MD5值很容易被计算出来并用来对比，所以，要确保存储的用户口令不是那些已经被计算出来的常用口令的MD5，这一目的通过对原始口令加一个复杂字符串来实现，俗称“加盐”：

def calc_md5(password):

return get_md5(password + 'the-Salt')

经过Salt处理的MD5口令，只要Salt不被黑客知道，即使用户输入简单口令，也很难通过MD5反推明文口令。

但是如果有两个用户都使用了相同的简单口令比如123456，在数据库中，将存储两条相同的MD5值，这说明这两个用户的口令是一样的。有没有办法让使用相同口令的用户存储不同的MD5呢？

如果假定用户无法修改登录名，就可以通过把登录名作为Salt的一部分来计算MD5，从而实现相同口令的用户也存储不同的MD5。

4.2.   
其它相关概念

撞库：黑客专用语，又称“扫存”。指的是拿网上已经泄露的用户和密码信息，批量尝试在另一个网站或平台进行匹配登录的行为。只要有一次匹配成功，就成功窃取到用户信息。