python模块: hashlib模块, configparse模块, logging模块,collections模块

一. hashlib模块

　　 Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。

　　摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。

　　摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest，目的是为了发现原始数据是否被人篡改过。摘要算法之所以能指出数据是否被篡改过，就是因为摘要函数是一个单向函数，计算f(data)很容易，但通过digest反推data却非常困难。而且，对原始数据做一个bit的修改，都会导致计算出的摘要完全不同。

　　对于同一个字符串,不管这个字符串有多长,只要是相同的,无论在任何环境下,多少次执行,在任何语言中使用相同的算法\相同的手段得到的结果永远是相同的, 只要不是相同的字符串,得到的结果一定不同.

1. MD5算法

　　md5是一个算法,32位的字符串,每个字符都是一个十六进制, md5算法特点: 效率快 算法相对简单

import hashlib
s = 'hello,world!'
md5_obj = hashlib.md5()
md5_obj.update(s.encode('utf-8'))
res = md5_obj.hexdigest()
print(res, type(res), len(res))
# c0e84e870874dd37ed0d164c7986f03a <class 'str'> 32

　　虽然md5的值不会被反推, 但是有很多人通过撞库的方法来获取原字符串.

　　撞库: 用户密码通过计算出的md5的值呗存再数据库, 但是有一批人通过试验许多密码,计算出这些密码的md5值, 再去获取别人的数据库(密码)拿来对比md5值,若是相同则可以得出密码是多少.这样密码就不安全了.所以可以通过加盐的方法来解决这种问题.

username = 'jack'
password = '123jack'
md5_obj = hashlib.md5(username.encode('utf-8'))  # 把用户名当作盐加进去
md5_obj.update(password.encode('utf-8'))
res = md5_obj.hexdigest()
print(res)  # b94b1a2cd520ddc887df5c946e246eac

　　md5除了可以保护用户密码外, 还可以校检文件的一致性

with open('', 'rb')as f1:  # rb模式
    md5_obj1 = hashlib.md5()
    md5_obj1.update(f1.read())
    res1 = md5_obj1.hexdigest()

with open('', 'rb') as f2:  # 我把文件321内容设置的与文件123一样
    md5_obj2 = hashlib.md5()
    md5_obj2.update(f2.read())
    res2 = md5_obj2.hexdigest()
print(res1)  # 537c68a40a4736c27358ae78616c9fa7
print(res2)  # 537c68a40a4736c27358ae78616c9fa7

二. configparse模块

　　该模块适用于配置文件的格式与windows ini文件类似，可以包含一个或多个节（section），每个节可以有多个参数（键=值）。

import configparser

config = configparser.ConfigParser()
# print(config.sections())        #  []
config.read('example.ini')
# print(config.sections())        #   ['bitbucket.org', 'topsecret.server.com']
# print('bytebong.com' in config) # False
# print('bitbucket.org' in config) # True
# print(config['bitbucket.org']["user"])  # hg
# print(config['DEFAULT']['Compression']) #yes
# print(config['topsecret.server.com']['ForwardX11'])  #no
# print(config['bitbucket.org'])          #<Section: bitbucket.org>
# for key in config['bitbucket.org']:     # 注意,有default会默认default的键
#     print(key)
# print(config.options('bitbucket.org'))  # 同for循环,找到'bitbucket.org'下所有键
# print(config.items('bitbucket.org'))    #找到'bitbucket.org'下所有键值对
# print(config.get('bitbucket.org','compression')) # yes get方法Section下的key对应的value

三.  logging模块

# 功能
    # 1. 日志格式的规范
    # 2. 操作的简化
    # 3. 日志的分级管理

# logging不能帮你做的事情
    # 自动生成你要打印的内容
# 需要程序员自己在开发的时候定义好 :
    # 在哪些地方需要打印,要打印的内容是什么,内容的级别

# logging模块的使用 :
    # 普通配置型 简单的 可定制化差
    # 对象配置型 复杂的 可定制化强

# 认识日志分级

# import logging
# logging.debug('debug message')      # 调试模式
# logging.info('info message')        # 基础信息
# logging.warning('warning message')  # 警告
# logging.error('error message')      # 错误
# logging.critical('critical message')# 严重错误

　　日志信息在屏幕上显示

import logging

logging.basicConfig(level=logging.DEBUG)  # 若是没有设置 level=logging.DEBUG 参数, debug(调试信息)和info(基础信息)不会被打印显示
logging.debug('debug message')      # 调试模式
logging.info('info message')        # 基础信息
logging.warning('warning message')  # 警告
logging.error('error message')      # 错误
logging.critical('critical message')# 严重错误
# DEBUG:root:debug message
# INFO:root:info message
# WARNING:root:warning message
# ERROR:root:error message
# CRITICAL:root:critical message

　　日志还能写在文件里, 但是不能同时显示在屏幕上

# 把日志显示在文件里, 日志格式
import logging
logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                    datefmt='%a, %d %b %Y %H:%M:%S',
                    filename='test.log')  # filename参数是文件的名字
logging.debug('debug message')      # 调试模式
logging.info('info message')        # 基础信息
logging.warning('warning message')  # 警告
logging.error('error message')      # 错误
logging.critical('critical message')# 严重错误

　　日志配置参数:

logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有：

filename：用指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。

format参数中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息

配置参数

　　logging对象操作日志文件步骤

# logger对象的形式来操作日志文件

# 创建一个logger对象
# 创建一个文件管理操作符
# 创建一个屏幕管理操作符
# 创建一个日志输出的格式

# 文件管理操作符 绑定一个 格式
# 屏幕管理操作符 绑定一个 格式

# logger对象 绑定 文件管理操作符
# logger对象 绑定 屏幕管理操作符

import logging
# 创建一个logger对象
logger = logging.getLogger()
# 创建一个文件管理操作符
fh = logging.FileHandler('logger.log',encoding='utf-8')
# 创建一个屏幕管理操作符
sh = logging.StreamHandler()
# 创建一个日志输出的格式
format1 = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# 文件管理操作符 绑定一个 格式
fh.setFormatter(format1)
# 屏幕管理操作符 绑定一个 格式
sh.setFormatter(format1)
logger.setLevel(logging.DEBUG)
# logger对象 绑定 文件管理操作符
# logger.addHandler(fh)
# logger对象 绑定 屏幕管理操作符
logger.addHandler(sh)

logger.debug('debug message')      # 调试模式
logger.info('我的信息')        # 基础信息
logger.warning('warning message')  # 警告
logger.error('error message')      # 错误
logger.critical('critical message')# 严重错误

# 2018-08-10 19:35:36,980 - root - DEBUG - debug message
# 2018-08-10 19:35:36,980 - root - INFO - 我的信息
# 2018-08-10 19:35:36,980 - root - WARNING - warning message
# 2018-08-10 19:35:36,980 - root - ERROR - error message
# 2018-08-10 19:35:36,980 - root - CRITICAL - critical message

 四. collections模块

　　collections模块是一个数据扩展模块.　　

　　使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

# 队列: 先进先出
# import queue
# q = queue.Queue()
# print(q.qsize())
# q.put(1)
# q.put('a')
# q.put((1,2,3))
# q.put(({'k':'v'}))
# print(q.qsize())
# print('q : ',q)
# print('get : ',q.get())
# print(q.qsize())

# deque 双端队列 两端都可插入和出来
# from collections import deque
# dq = deque()
# dq.append(2)
# dq.append(5)
# dq.appendleft('a')
# dq.appendleft('b')
# print(dq)
# # print(dq.pop())
# # print(dq)
# # print(dq.popleft())
# # print(dq)
# print(dq.remove('a'))
# print(dq.insert(2,'123'))
# print(dq)

# 总结
# 在insert remove的时候 deque的平均效率要高于列表
# 列表根据索引查看某个值的效率要高于deque
# append 和pop对于列表的效率是没有影响