字符串translate方式实现

在爬取百度图片的时候，发现百度图片做了反爬虫处理，在网上找到当前还能跑通的教程实例：python3多线程下载百度图片搜索结果。

在分析代码的过程中，发现作者对爬取的objURL的解码是通过字符串的translate方式实现的。截止目前，很少用到translate方法，所以记录下相应的代码和使用方法。

百度图片objURL解码源码：

 #!/usr/bin/env python
 # -*- coding:utf-8 -*-

 """解码百度图片搜索json中传递的url
 抓包可以获取加载更多图片时，服务器向网址传输的json。
 其中originURL是特殊的字符串
 解码前：
 ippr_z2C$qAzdH3FAzdH3Ffl_z&e3Bftgwt42_z&e3BvgAzdH3F4omlaAzdH3Faa8W3ZyEpymRmx3Y1p7bb&mla
 解码后：
 http://s9.sinaimg.cn/mw690/001WjZyEty6R6xjYdtu88&690
 使用下面两张映射表进行解码。
 """

 str_table = {
     '_z2C$q': ':',
     '_z&e3B': '.',
     'AzdH3F': '/'
 }

 char_table = {
     'w': 'a',
     'k': 'b',
     'v': 'c',
     '': 'd',
     'j': 'e',
     'u': 'f',
     '': 'g',
     'i': 'h',
     't': 'i',
     '': 'j',
     'h': 'k',
     's': 'l',
     '': 'm',
     'g': 'n',
     '': 'o',
     'r': 'p',
     'q': 'q',
     '': 'r',
     'f': 's',
     'p': 't',
     '': 'u',
     'e': 'v',
     'o': 'w',
     '': '',
     'd': '',
     'n': '',
     '': '',
     'c': '',
     'm': '',
     '': '',
     'b': '',
     'l': '',
     'a': ''
 }

 # str的translate方法需要用单个字符的十进制unicode编码作为key
 # value 中的数字会被当成十进制unicode编码转换成字符
 # 也可以直接用字符串作为value
 char_table = {ord(key):ord(value) for key,value in char_table.items()}

 def decode(url):
     # 先替换字符串
     for key,value in str_table.items():
         url = url.replace(key,value)

     # 再替换剩下的字符
     return url.translate(char_table)

 if __name__=='__main__':
     url =r"ippr_z2C$qAzdH3FAzdH3Ffl_z&e3Bftgwt42_z&e3BvgAzdH3F4omlaAzdH3Faa8W3ZyEpymRmx3Y1p7bb&mla"
     print(decode(url))

返回结果：

　　http://s9.sinaimg.cn/mw690/001WjZyEty6R6xjYdtu88&690

以上就是解码百度的objURL的结果。

为了加强对上面注释的内容的理解，用最简单的方式去使用translate。

>>> char_table = {
...     'w': 'a',
...     'k': 'b',
...     'v': 'c',
...     '': 'd',
...     'j': 'e',
...     'u': 'f',
...     '': 'g',
...     'i': 'h',
...     't': 'i',
...     '': 'j',
...     'h': 'k',
...     's': 'l',
...     '': 'm',
...     'g': 'n',
...     '': 'o',
...     'r': 'p',
...     'q': 'q',
...     '': 'r',
...     'f': 's',
...     'p': 't',
...     '': 'u',
...     'e': 'v',
...     'o': 'w',
...     '': '',
...     'd': '',
...     'n': '',
...     '': '',
...     'c': '',
...     'm': '',
...     '': '',
...     'b': '',
...     'l': '',
...     'a': ''
... }
>>> uri='http://ghajgjakngadnkaklmaglg.cmmga'
>>> char_table = {ord(key):ord(value) for key,value in char_table.items()}
>>> char_table
{119: 97, 107: 98, 118: 99, 49: 100, 106: 101, 117: 102, 50: 103, 105: 104, 116: 105, 51: 106, 104: 107, 115: 108, 52: 109, 103: 110, 53: 111, 114: 112, 113: 113, 54: 114, 102: 115, 112: 116, 55: 117, 101: 118, 111: 119, 56: 49, 100: 50, 110: 51, 57: 52, 99: 53, 109: 54, 48: 55, 98: 56, 108: 57, 97: 48}
>>> uri.translate(char_table)
'kiit://nk0ene0b3n023b0b960n9n.566n0'
>>> uri
'http://ghajgjakngadnkaklmaglg.cmmga'