15.Python略有小成(内置模块Ⅰ)

Python(内置模块Ⅰ)

一、序列化模块(很重要)

序列化 : 将一种数据结构(,list,dict...),转化成一个特殊的字符串的过程

我们现在要解决的问题 : 如果有一种特殊的字符串,这个字符串可以与任何的数据结构互相转换.

序列化模块 : 将一种数据结构转化成特殊的序列(特殊的字符串,bytes)并且还可以翻转回去.

二、json与pickle模块

json模块 : 是所有语言公认的一种序列,但是支持的python数据结构有限(int str bool dict list (tuple),None float),

json模块是将满足条件的数据结构转化成特殊的字符串，并且也可以反序列化还原回去

json序列化两对四个方法

dumps loads : 主要用于网络传输

import json

dic = {'k1':'v1','k2':'v2','k3':'v3'}

str_dic = json.dumps(dic)  #序列化：将一个字典转换成一个字符串

print(type(str_dic),str_dic)  #<class 'str'> {"k3": "v3", "k1": "v1", "k2": "v2"}

#注意，json转换完的字符串类型的字典中的字符串是由""表示的

dic2 = json.loads(str_dic)  #反序列化：将一个字符串格式的字典转换成一个字典

#注意，要用json的loads功能处理的字符串类型的字典中的字符串必须由""表示

print(type(dic2),dic2)  #<class 'dict'> {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

list_dic = [1,['a','b','c'],3,{'k1':'v1','k2':'v2'}]

str_dic = json.dumps(list_dic) #也可以处理嵌套的数据类型

print(type(str_dic),str_dic) #<class 'str'> [1, ["a", "b", "c"], 3, {"k1": "v1", "k2": "v2"}]

list_dic2 = json.loads(str_dic)

print(type(list_dic2),list_dic2) #<class 'list'> [1, ['a', 'b', 'c'], 3, {'k1': 'v1', 'k2': 'v2'}]

dump load : 单个数据的存取文件

import json

f = open('json_file.json','w')

dic = {'k1':'v1','k2':'v2','k3':'v3'}

json.dump(dic,f)  #dump方法接收一个文件句柄，直接将字典转换成json字符串写入文件

f.close()

# json文件也是文件，就是专门存储json字符串的文件。

f = open('json_file.json')

dic2 = json.load(f)  #load方法接收一个文件句柄，直接将文件中的json字符串转换成数据结构返回

f.close()

print(type(dic2),dic2)

json序列化存储多个数据到同一个文件中

dic1 = {'name':'boy1'}

dic2 = {'name':'boy2'}

dic3 = {'name':'boy3'}

f = open('序列化',encoding='utf-8',mode='a')

str1 = json.dumps(dic1)

f.write(str1+'\n')

str2 = json.dumps(dic2)

f.write(str2+'\n')

str3 = json.dumps(dic3)

f.write(str3+'\n')

f.close()

f = open('序列化',encoding='utf-8')

for line in f:

    print(json.loads(line))

pickle模块 : pickle模块是将Python所有的数据结构以及对象等转化成bytes类型，然后还可以反序列化还原回去,只能python语言中使用的,支持所有的puthon数据类型以及模块

pickle序列化两对四个方法

dumps loads : 只能是网络传输

import pickle

dic = {'k1':'v1','k2':'v2','k3':'v3'}

str_dic = pickle.dumps(dic)

print(str_dic)  # bytes类型

dic2 = pickle.loads(str_dic)

print(dic2)    #字典

# 还可以序列化对象

import pickle

def func():

    print(666)

ret = pickle.dumps(func)

print(ret,type(ret))  # b'\x80\x03c__main__\nfunc\nq\x00.' <class 'bytes'>

f1 = pickle.loads(ret)  # f1得到 func函数的内存地址

f1()  # 执行func函数

dump load : 只能用于文件写读,用wb rb ab 来处理文件

dic = {(1,2):'oldboy',1:True,'set':{1,2,3}}

f = open('pick序列化',mode='wb')

pickle.dump(dic,f)

f.close()

with open('pick序列化',mode='wb') as f1:

    pickle.dump(dic,f1)

pickle序列化存储多个数据到一个文件中

dic1 = {'name':'oldboy1'}

dic2 = {'name':'oldboy2'}

dic3 = {'name':'oldboy3'}

f = open('pick多数据',mode='wb')

pickle.dump(dic1,f)

pickle.dump(dic2,f)

pickle.dump(dic3,f)

f.close()

f = open('pick多数据',mode='rb')

while True:

    try:

        print(pickle.load(f))

    except EOFError:

        break

f.close()

三、os模块

目录 : 文件夹

工作目录,当前目录,父级目录

单独学习 : __ file __动态获取当前文件的绝对路径

当前执行这个python文件的工作目录相关的工作路径

os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径  ***

os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd  **

os.curdir  返回当前目录: ('.')  **

os.pardir  获取当前目录的父目录字符串名：('..') **

和文件夹相关

os.makedirs() : 批量新建多级目录(文件)可生成多层递归目录***

os.removedirs() : 若目录为空,则删除,并递归到上一级目录，如若也为空，则删除，依此类推***

os.mkdir("abc") : 创建单级目录(文件)***

os.rmdir("abc") : 删除单级的目录(文件),当文件内有其他内容时,不会删除***

os.listdir(r"D:\s123") : 列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印**

path与路径相关***

os.path.abspath(path) 返回path规范化的绝对路径  ***

os.path.split(path) 将path分割成目录和文件名二元组返回 ***

os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素  **

os.path.basename(path) 返回path最后的文件名。如何path以／或\结尾，那么就会返回空值，即os.path.split(path)的第二个元素。 **

os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False  ***

os.path.isabs(path)  如果path是绝对路径，返回True  **

os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False  ***

os.path.isdir(path)  如果path是一个存在的目录，则返回True。否则返回False  ***

os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略 ***

os.path.getatime(path)  返回path所指向的文件或者目录的最后访问时间  **

os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间  **

os.path.getsize(path) 返回path的大小 ***

注意 : os.stat('path/filename') 获取文件/目录信息的结构说明

stat 结构:

st_mode: inode 保护模式

st_ino: inode 节点号。

st_dev: inode 驻留的设备。

st_nlink: inode 的链接数。

st_uid: 所有者的用户ID。

st_gid: 所有者的组ID。

st_size: 普通文件以字节为单位的大小；包含等待某些特殊文件的数据。

st_atime: 上次访问的时间。

st_mtime: 最后一次修改的时间。

st_ctime: 由操作系统报告的"ctime"。在某些系统上（如Unix）是最新的元数据更改的时间，在其它系统上（如Windows）是创建时间（详细信息参见平台的文档）。

四、sys模块

sys模块是与python解释器交互的一个接口

sys.argv           命令行参数List，第一个元素是程序本身路径

sys.exit(n)        退出程序，正常退出时exit(0),错误退出sys.exit(1)

sys.version        获取Python解释程序的版本信息

sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值  ***

sys.platform       返回操作系统平台名称

五、hashlib模块

此模块有人称为摘要算法，也叫做加密算法，或者是哈希算法，散列算法等等,它通过一个函数，把任意长度的数据按照一定规则转换为一个固定长度的数据串（通常用16进制的字符串表示）,它是一堆加密的算法的集合

hashlib的特征以及使用要点：

bytes类型数据 ---> 通过hashlib算法 ---> 固定长度的字符串
不同的bytes类型数据转化成的结果一定不同。
相同的bytes类型数据转化成的结果一定相同。
此转化过程不可逆。

hashlib的主要用途有两个：

密码的加密

我们以常见的摘要算法MD5为例，计算出一个字符串的MD5值：

import hashlib

md5 = hashlib.md5()

md5.update('123456'.encode('utf-8'))

print(md5.hexdigest())

# 计算结果如下：

'e10adc3949ba59abbe56e057f20f883e'

# 验证：相同的bytes数据转化的结果一定相同

import hashlib

md5 = hashlib.md5()

md5.update('123456'.encode('utf-8'))

print(md5.hexdigest())

# 计算结果如下：

'e10adc3949ba59abbe56e057f20f883e'

# 验证：不相同的bytes数据转化的结果一定不相同

import hashlib

md5 = hashlib.md5()

md5.update('12345'.encode('utf-8'))

print(md5.hexdigest())

# 计算结果如下：

'827ccb0eea8a706c4c34a16891f84e7b'

加盐加密

固定的盐

ret = hashlib.md5('xx流派'.encode('utf-8'))  # xx流派就是固定的盐

ret.update('a'.encode('utf-8'))

print(ret.hexdigest())

动态的盐

username = '九阴真经'

ret = hashlib.md5(username[::2].encode('utf-8'))  # 针对于每个账户，每个账户的盐都不一样

ret.update('a'.encode('utf-8'))

print(ret.hexdigest())

但是对安全要求比较高的企业，比如金融行业，MD5加密的方式就不够了，得需要加密方式更高的，比如sha系列sha1,sha224,sha512等等,数字越大，加密的方法越复杂，安全性越高，但是效率就会越慢。

# sha系列 : 安全系数高,耗时高

ret = hashlib.sha1()

ret.update('jiuyinzhenjing'.encode('utf-8'))

print(ret.hexdigest())

#也可加盐

ret = hashlib.sha384(b'asfdsa')

ret.update('jiuyinzhenjing'.encode('utf-8'))

print(ret.hexdigest())

# 也可以加动态的盐

ret = hashlib.sha384(b'asfdsa'[::2])

ret.update('jiuyinzhenjing'.encode('utf-8'))

print(ret.hexdigest())

文件一致性校验

linux讲究：一切皆文件，我们普通的文件，是文件，视频，音频，图片，以及应用程序等都是文件.

我们的网络世界是很不安全的，经常会遇到病毒，木马等,md5计算的就是bytes类型的数据的转换值，同一个bytes数据用同样的加密方式转化成的结果一定相同，如果不同的bytes数据（即使一个数据只是删除了一个空格）那么用同样的加密方式转化成的结果一定是不同的。所以，hashlib也是验证文件一致性的重要工具。

运用所学过的函数知识,做一个可以检验文件md5的方式如下
```
def file_check(file_path):

    with open(file_path,mode='rb') as f1:

        sha256 = hashlib.sha256()

        while 1:

            content = f1.read(1024)

            if content:

                sha256.update(content)

            else:

                return sha256.hexdigest()

print(file_check('pycharm-professional-2019.1.1.exe'))
```