【python接口自动化】- 使用json及jsonpath转换和提取数据

前言

​ JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。它可以让人们很容易的进行阅读和编写，同时也方便了机器进行解析和生成，适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。简单说就是javascript中的对象和数组，通过这两种结构可以表示各种复杂的结构。

​ 对象：对象在js中是花括号{}括起来的内容，数据结构为{key:value,key:value,...}这样的键值对结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为对象.key来获取属性值，这个属性值的类型可以是数字、字符串、数组、对象这几种。

​ 数组：数组在js中是中括号[]括起来的内容，数据结构为["Python", "javascript", "C++",..]，类似python中的列表，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是数字、字符串、数组、对象几种。

json模块

​ 在之前的request库介绍中就提到过，现在99%的接口返回的数据都是json格式，在python中，有专门处理json格式的模块——json模块，在python2.6之后的版本都自带了这一个模块，直接导入import json即可。json模块提供了四个功能：dumps、loads、dump、load，用于字符串和python数据类型之间进行转换。

• json.dumps()：将 Python 对象解码转换成 JSON 字符串
• json.loads()：把JSON 格式字符串解码转换成Python 对象
• json.dump()：将Python内置类型序列化为JSON 对象后写入文件
• json.load()：读取文件中JSON 形式的字符串元素转化成Python 类型

​ 其中类文件对象的理解，其实就是具有read()或者write()方法的对象，比如f = open("test.txt","r") f就是类文件对象。下面对dumps和loads分别举例说明：

import json

data = [{'a': 1, 'b': 2, 'c': 3}]
data2 = json.dumps(data)  # 将python对象转换成json字符串
print(data2)
print(type(data2))
print("-------还可以使用参数格式化输出json格式--------")
print(json.dumps(data, sort_keys=True, indent=4, separators=(',', ': ')))

jsonData = '{"a":1,"b":2,"c":3,"d":4,"e":5}'
text = json.loads(jsonData)
print("---------json转python---------")
print(text)
print(type(jsonData))

# 返回结果如下：
# C:\software\python\python.exe D:/learn/test.py
# [{"a": 1, "b": 2, "c": 3}]
# <class 'str'>
# -------还可以使用参数格式化输出json格式--------
# [
#     {
#         "a": 1,
#         "b": 2,
#         "c": 3
#     }
# ]
# ---------json转python---------
# {'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}
# <class 'str'>
#
# Process finished with exit code 0

​ dumps解码的过程，是把python对象转换成json对象的一个过程，常用的两个函数是dumps和dump函数。两个函数的唯一区别就是dump把python对象转换成json对象生成一个fp的文件流，而dumps则是生成了一个字符串。

​ 解码中常用的参数：

• Skipkeys：默认值是False，如果dict的keys内的数据不是python的基本类型(str,unicode,int,long,float,bool,None)，设置为False时，就会报TypeError的错误。此时设置成True，则会跳过这类key
• ensure_ascii：默认值True，如果dict内含有non-ASCII的字符，则会类似\uXXXX的显示数据，设置成False后，就能正常显示
• indent：应该是一个非负的整型，如果是0，或者为空，则一行显示数据，否则会换行且按照indent的数量显示前面的空白，这样打印出来的json数据也叫pretty-printed json
• separators：分隔符，实际上是(item_separator, dict_separator)的一个元组，默认的就是(',','；这表示dictionary内keys之间用“,”隔开，而KEY和value之间用“：”隔开
• encoding：默认是UTF-8，设置json数据的编码方式
• sort_keys：将数据根据keys的值进行排序。

​ python 类型向 json 类型的转化对照表如下：

Python	JSON
dict	object（对象）
list, tuple	array（数组）
str, unicode	string
int, long, float	number
True	true
False	false
None	null

​ 反之，json 类型转换到 python 的类型对照表：

JSON	Python
object（对象）	dict
array（数组）	list
string	unicode
number (int)	int, long
number (real)	float
true	True
false	False
null	None

​ 特别注意：转换的时候，python的None会变成null，True和False转换后首字母都会变成小写噢！他们的json格式在python中是无法被识别的，会被当成变量处理。

​ 更多的相关内容，可以查阅python的官方文档：https://docs.python.org/2/library/json.html

jsonpath库

​ JsonPath是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括JavaScript、Python、PHP和Java。JsonPath对于JSON来说，就相当于XPATH对于XML。JsonPath结构清晰，可读性高，复杂度低，非常容易匹配，下表中对应了XPath的用法。

Xpath	JSONPath	描述
/	$	根节点
.	@	现行节点
/	. or []	取子节点
..	n/a	取父节点，Jsonpath未支持
//	..	不管位置，选择所有符合条件的节点
*	*	匹配所有元素节点
@	n/a	根据属性访问，JsonPath不支持
[]	[]	迭代器（可以在里边做简单的迭代操作，如数组下标，根据内容选值等）
|	[,]	支持迭代器中做多选
[]	?()	支持过滤操作
n/a	()	支持表达式计算
()	n/a	分组，JsonPath不支持

• pip安装：pip install jsonpath，官网文档：http://goessner.net/articles/JsonPath
• 使用方法：jsonpath.jsonpath（），结果会以列表形式返回，如下请求接口返回数据提取例子
  • 参数1：数据对象
  • 参数2：jsonpath表达式

import requests
import jsonpath

login_url = "http://localhost:8080/member/login"
login_data = {
    "mobile_phone": "15867554893",
    "pwd": "123456qwe",
}
header = {    "Content-Type": "application/json"}
# 发送登录的请求
response = requests.post(url=login_url, json=login_data, headers=header)
# 获取返回的json数据
json_data = response.json()

member_id = jsonpath.jsonpath(json_data, "$..id")[0]
type_token = jsonpath.jsonpath(json_data, "$..token_type")[0]
token = jsonpath.jsonpath(json_data, "$..token")[0]
print(json_data)
print("会员id：{}".format(member_id))
print("token的类型：{}".format(type_token))
print("token：{}".format(token))

​ 运行返回的数据如下：

C:\software\python\python.exe D:/learn/test.py
{'code': 0, 'msg': 'OK', 'data': {'id': 59514, 'money': 34000.0, 'mobile_phone': '15612345678', 'reg_name': 'miki测试', 'reg_time': '2020-11-16 22:18:59.0', 'type': 0, 'token_info': {'token_type': 'Bearer', 'expires_in': '2020-12-10 00:30:01', 'token': 'eyJhbGciOiJIUzUxMiJ9.eyJtZW1iZXJfaWQiOjU5NTE0LCJleHAiOjE2MDc1MzE0MDF9.GAoCY5RZ_FWUIRMNXdURdH5y7zKuETo1qsq9Z9No9AaWvo2QGLR9maWxEY31Ddy6a7QmpT56xKg7N3YwGLTbOQ'}}}
会员id：59514
token的类型：Bearer
token：eyJhbGciOiJIUzUxMiJ9.eyJtZW1iZXJfaWQiOjU5NTE0LCJleHAiOjE2MDc1MzE0MDF9.GAoCY5RZ_FWUIRMNXdURdH5y7zKuETo1qsq9Z9No9AaWvo2QGLR9maWxEY31Ddy6a7QmpT56xKg7N3YwGLTbOQ

​ 登录接口返回的json数据格式化后的层级显示如下：