58同城二手车数据爬虫——数字加密解码（Python原创）

一、基础首页爬取

def crawler():
　　# 设置cookie
    cookie = '''cisession=19dfd70a27ec0e                                                                                                                                           t_f805f7762a9a237a0deac37015e9f6d9=1483926368'''
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
        'Connection': 'keep-alive',
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Cookie': cookie}

    # 设置请求头，模仿浏览器访问
    # headers = {
    #     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
    # }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
        'Referer': 'https://sg.58.com/ershouche/?spm=242729801700.bd_vid&utm_source=sem-esc-baidu-pc'}
    # 设置想要爬取的网页链接
    url = 'https://sg.58.com/ershouche/?spm=242729801700.bd_vid&utm_source=sem-esc-baidu-pc'
    response = requests.get(url, headers=headers)
    return response

二、寻找获取加密方法

2.1页面分析：

如下图页面数据展示可以看出，该数字数据被加密成特定的其他字符表示，因此我们先找到起加密方式

通过F12查看该前端样式发现，取消勾选font-family页面前后展示数据对比：

通过Ctrl+F搜索fontSecret可以看到如下内容，就是该页面的加密方式，并且经过测试发现该页面每刷新一次加密方式就会发生变化，因此我们需要通过爬虫获取每次刷新后的新加密方法:

2.2编写代码：

def parse_one_page(html):
    #使用正则表达式获取每次加密的新加密内容
    pattern = re.compile(
        '<style>.*?(AAEAAAAO.*?wAP.*?).*?</style>',
        re.S)
    items = re.findall(pattern, html)
    str = "'" + items[0].strip() + "'"
    #根据此加密内容输出woff字体文件
    bin_data = base64.decodebytes(str.encode())
    with open('58font.woff', 'wb') as f:
        f.write(bin_data)
    # print('第' + str(page_num) + '次访问网页，字体文件保存成功！')
    # 获取字体文件，将其转换为xml文件
    font = TTFont('58font.woff')
    font.saveXML('58font.xml')

三、解析xml文件

3.1文件内容

在xml文件中存在阿拉伯数字和与之对应的数字编码，需要注意的是在58同城页面升级后，这些数字编码并不捆绑阿拉伯数字，而是每次刷新进行随机分配，且（阿拉伯数字-1）=页面展示数字。

例如：在红框中id=5，其对应的uni002B反应给前台的显示数据是4，其他也是同理。

在下图中这是数字编码对应的16进制数，且数字编码也是每次刷新后重新分配给16进制数：

3.2设计代码思路

上半部分为粗略猜想的58加密方法，下半部分为解密思路

3.3代码

根据以上思路代码分为两块：

    #建立列表
    all_Price=[]
    #遍历所有汽车价格信息的列表将其转化为16进制数字后放入新的列表中
    for price in  price_list:
        str = price.get_text().replace("\n", "")
        Zu_list=[]
        #将每个汽车的价格拆封，然后一个个进行节码
        #例如“¥.-起”拆分成“¥”、“.”、“-”、“起”然后逐个解码
        for i in range(len(str)-1):
            decode_num = ord(str[i])
            # 转成16进制
            priceBaser64_Str = hex(decode_num)
　　　　　　　#传入方法中
            find_result=find_font(priceBaser64_Str)
            #合并解码后的阿拉伯数字得到真正的价格数字
            Zu_list.append(find_result)
        #类型转化，放入新的列表中
        all_Price.append("".join(Zu_list))
    print(all_Price)

#传入16进制数
def find_font(priceBaser64_Str):
    # 利用xpath语法匹配xml文件内容，查询以glyph开头的编码对应的数字
    font_data = etree.parse('./58font.xml')
    num_code = ['1','2','3','4','5','6','7','8','9','10']
    # 建立字典存储每次，数字编码码对应的数字编号
    # 样例格式：{'uni002B': 4, 'uni00A5': 5, 'uni65F6': 0, 'uni002D': 3, 'uni002F': 6, 'uni6298': 8, 'uni0025': 7, 'uni5143': 9, 'uni8D77': 1, 'uni4E07': 2}
    glyph_list ={}
    for number in num_code:
        glyph_reslut=font_data.xpath("//GlyphOrder//GlyphID[@id='{}']/@name".format(number))[0]
        glyph_list[glyph_reslut] = int(number)-1

    # 除了随机的数字编码对应的16进制数外，还有“.”则固定对应0x2e
    # 依次循环查找xml文件里code对应的name
    if priceBaser64_Str == '0x2e':
        result='.'
        return result
        #num_list.append(result)
        #print(result)
    else:
        #使用xpath查询方式根据传进来的16进制数寻找对应的数字编号，再通过数字编号去遍历建立好的glyph_list找出对应的阿拉伯数字
        result = font_data.xpath("//cmap_format_4//map[@code='{}']/@name".format(priceBaser64_Str))[0]
        # 循环字典的key，如果code对应的name与字典的key相同，则得到key对应的value
        for key in glyph_list.keys():
            if result == key:
                familly_result = str(glyph_list[key])
                return familly_result
    #print('已成功找到编码所对应的数字！')

四、最终写出xml文件保存

全部代码：

from fontTools.misc import etree
from fontTools.ttLib import TTFont
import base64
import xlsxwriter
import re
import requests
from bs4 import BeautifulSoup

#传入16进制数
def find_font(priceBaser64_Str):
    # 利用xpath语法匹配xml文件内容，查询以glyph开头的编码对应的数字
    font_data = etree.parse('./58font.xml')
    num_code = ['1','2','3','4','5','6','7','8','9','10']
    # 建立字典存储每次，数字编码码对应的数字编号
    # 样例格式：{'uni8D77': '2', 'uni0025': '8', 'uni5143': '10', 'uni002B': '5', 'uni4E07': '3', 'uni6298': '9', 'uni00A5': '6', 'uni65F6': '1', '.notdef': '0', 'uni002F': '7', 'uni002D': '4'}
    glyph_list ={}
    for number in num_code:
        glyph_reslut=font_data.xpath("//GlyphOrder//GlyphID[@id='{}']/@name".format(number))[0]
        glyph_list[glyph_reslut] = int(number)-1

    # 除了随机的数字编码对应的16进制数外，还有“.”则固定对应0x2e
    # 依次循环查找xml文件里code对应的name
    if priceBaser64_Str == '0x2e':
        result='.'
        return result
        #num_list.append(result)
        #print(result)
    else:
        #使用xpath查询方式根据传进来的16进制数寻找对应的数字编号，再通过数字编号去遍历建立好的glyph_list找出对应的阿拉伯数字
        result = font_data.xpath("//cmap_format_4//map[@code='{}']/@name".format(priceBaser64_Str))[0]
        # 循环字典的key，如果code对应的name与字典的key相同，则得到key对应的value
        for key in glyph_list.keys():
            if result == key:
                familly_result = str(glyph_list[key])
                return familly_result
    #print('已成功找到编码所对应的数字！')

def parse_one_page(html):
    #使用正则表达式获取每次加密的新加密内容
    pattern = re.compile(
        '<style>.*?(AAEAAAAO.*?wAP.*?).*?</style>',
        re.S)
    items = re.findall(pattern, html)
    str = "'" + items[0].strip() + "'"
    #根据此加密内容输出woff字体文件
    bin_data = base64.decodebytes(str.encode())
    with open('58font.woff', 'wb') as f:
        f.write(bin_data)
    # print('第' + str(page_num) + '次访问网页，字体文件保存成功！')
    # 获取字体文件，将其转换为xml文件
    font = TTFont('58font.woff')
    font.saveXML('58font.xml')

    # for item in items:
    #     print(item)
    #     yield {
    #         'index':items[0],
    #         'image':items[1].,
    #         'title':items[2],
    #     }

def crawler():
    cookie = '''cisession=19dfd70a27ec0                                                                                                     t_f805f7762a9a237a0deac37015e9f6d9=1482722012,1483926313;Hm_lpvt_f805f7762a9a237a0deac37015e9f6d9=1483926368'''
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
        'Connection': 'keep-alive',
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Cookie': cookie}

    # 设置请求头，模仿浏览器访问
    # headers = {
    #     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
    # }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
        'Referer': 'https://sg.58.com/ershouche/?spm=242729801700.bd_vid&utm_source=sem-esc-baidu-pc'}
    # 设置想要爬取的网页链接
    # url = 'https://nn.58.com/ershouche/?utm_source=market&spm=u-2d2yxv86y3v43nkddh1.BDPCPZ_BT&PGTID=0d100000-0034-d9f8-fe87-cbe415320007&ClickID=4'
    url = 'https://sg.58.com/ershouche/?spm=242729801700.bd_vid&utm_source=sem-esc-baidu-pc'
    response = requests.get(url, headers=headers)
    return response

#爬虫数据转为xmlx文本写出
def writer_xml(response,sheetHeaders):
    #转化为文本格式
    content = response.content
    soup = BeautifulSoup(content, 'lxml')

    # 创建名为58car.xlsx的excel文件
    workbook = xlsxwriter.Workbook('19ar.xlxs')
    # 在excel文件中添加一个sheet工作表
    worksheet = workbook.add_worksheet('韶关')
    # 获取所有的汽车名称，并存储在一个列表里
    name_list = soup.find_all('span', attrs={'class': 'info_link'})
    # 获取所有的汽车描述信息，并存储在一个列表里
    describe_list = soup.find_all('div', attrs={'class': 'info_params'})
    # 获取所有的汽车价格信息，并存储在一个列表里
    price_list = soup.find_all('div', attrs={'class': 'info--price'})

    #建立列表
    all_Price=[]
    #遍历所有汽车价格信息的列表将其转化为16进制数字后放入新的列表中
    for price in  price_list:
        str = price.get_text().replace("\n", "")
        Zu_list=[]
        #将每个汽车的价格拆封，然后一个个进行节码
        #例如“¥.-起”拆分成“¥”、“.”、“-”、“起”然后逐个节码
        for i in range(len(str)-1):
            decode_num = ord(str[i])
            # 转成16进制
            priceBaser64_Str = hex(decode_num)
            find_result=find_font(priceBaser64_Str)
            #合并解码后的阿拉伯数字得到真正的价格数字
            Zu_list.append(find_result)
        #类型转化，放入新的列表中
        all_Price.append("".join(Zu_list))
    print(all_Price)

    # 设置表头
    for i in range(0,len(sheetHeaders)):
        worksheet.write(0, i, sheetHeaders[i])

    # 通过len()方法得到汽车信息个数并进行遍历
    for i in range(len(name_list)):
        # 在第i行第1列写入第i辆汽车的名称
        worksheet.write(i + 1, 0, name_list[i].get_text().replace("\n", ""))
        # 在第i行第2列写入第i辆汽车的描述信息
        worksheet.write(i + 1, 1, describe_list[i].get_text())
        # 在第i行第3列写入第i辆汽车的价格信息
        worksheet.write(i + 1, 2, all_Price[i])

    # 数据写入完毕后将表格关闭
    workbook.close()

if __name__ == '__main__':
    sheetHeaders = ["汽车名称","描述信息","价格信息"]
    html = crawler()
    parse_one_page(html.text)
    writer_xml(html,sheetHeaders)

五、注意事项（可能出现的错误）

由于每次都需要重新导出xml文件并对其进行解析，因此建议使用者在对所有需要导出的文件命名时采用“随机码”或“时间”的方式对其进行命名，或则在运行前删除代码存放目录下所有之前导出的文件，否则重新运行会因为旧的xml无法被覆盖而导致解析出来的的是旧的对应关系，出现实际解码后的数据错误。