python中的一些解码和编码

开头

最近爬取百度贴吧搜索页的时候遇到一个url的编码问题，颇为头疼，记录下来防止下次忘记

工具网站

解码编码的工具网站推荐 http://tool.chinaz.com/tools/urlencode.aspx

网址分析

当我们打开百度贴吧首页输入关键字并进行全吧搜索的时候，就会得到一个返回的url

https://tieba.baidu.com/f/search/res?isnew=1&kw=&qw=%BA%FE%C8%CB&rn=10&un=&only_thread=0&sm=1&sd=&ed=&pn=3 # 这个url拿到工具网站解析的时候，并不会返回结果

这个坑我查了很久，一直都解码不成功，直到问了同事，同事说这个是 gb2312 的 url编码！

人傻了，马上试试

果然成功了！ 学到，原来url编码也分 gb2312 和 utf-8 的

代码应用

既然知道了这个Url是由 gb2312 编码之后再 url 编码生成的url，那这样在程序中怎么写呢?

需要用到 urllib.parse 这个函数

urllib.parse 里面三个方法：urlencode、quote 和 unquote， 分别对于编码与解码

对字符串进行urlencode编码，就需要用到两个方法urlencode和quote

#!/usr/bin/python3
# coding=utf-8

from urllib.parse import urlencode
payload = {
    "name": "中文",
    "who": "lages",
    "url": "UrlEncode编码"
}
print(urlencode(payload))

运行之后 可以得到一个url编码的键值对

quote方法能对字符串编码，如下：

#!/usr/bin/python3
# coding=utf-8

from urllib.parse import quote

print(quote("湖人"))
url = "http://www.baidu.com/?a=湖人&b=sitven"
print(quote(url))

这样，得到的整个url都编码了，而我们一般只需要中文编码就好

知道上面两个方法，还有python自带的字符串解码就可以得到这样做

kw = '湖人'
kw = quote(kw.encode('gb2312')) # 先通过字符串编码为gb2312，然后编码为url
url = f"https://tieba.baidu.com/f/search/res?isnew=1&kw=&qw={qw}&" # 最后组合成一个url

问题解决之后，想着url编码怎么才可以解码成utf-8呢，就要用到 unquote 方法了。类似于%E4%B5%B7&b=E6%82%A0这种格式, 可通过unquote方法解码

unquote方法解码，

#!/usr/bin/python3
# coding=utf-8

from urllib.parse import  unquote
import requests

url = "http://httpbin.org/get"
payload = {
    "city": "洛杉矶",
    "site": "测试"
}

r = requests.get(url, params=payload)
print(r.url) # http://httpbin.org/get?city=%E6%B4%9B%E6%9D%89%E7%9F%B6&site=%E6%B5%8B%E8%AF%95
print(unquote(r.url)) # http://httpbin.org/get?city=洛杉矶&site=测试

完。