Python爬虫-字体反爬-猫眼国内票房榜

偶然间知道到了字体反爬这个东西, 所以决定了解一下.

目标: 　　https://maoyan.com/board/1

问题:　　类似下图中的票房数字无法获取, 直接复制粘贴的话会显示 □ 等无法识别的字符, 且网页源码中该类数字均被 . 之类的字符串代替.

解决:

出现这种情况的原因是因为网页字体是在 CSS3 @font-face 规则中定义的, 我觉得这种字体就类似描点连线那种方式绘制出来的.

因为定义规则是动态随机获取的, 不能保证每次都是一个字体文件.

如下:

可以看到, 同一数字所对应的字符是不一样的, 所以我们也就动态下载实时字体文件, 具体分析.

虽然每次对应的字符可能不一样, 但是可以发现同一数字的字形是一样的, 也就是"描点的坐标"应该相同.

事实证明在这个例子中是确实如此.

如下:

同一数字对象里的这些值是一样的.

既然找到问题所在和规律了, 就可以直接开始写代码了.

 import re
 from urllib.request import urlretrieve, urlopen
 from fontTools.ttLib import TTFont

 def process_font(url):
     # loc.woff是事先下载好的字体文件
     # 可以通过font1.saveXML()来了解文件的结构, font1就像一个的字典, XML文件里的tag可以对font1用字典的方法获取
     font1 = TTFont('loc.woff')
     # 使用百度的FontEditor手动确认本地字体文件name和数字之间的对应关系, 保存到字典中
     loc_dict = {'uniE8B2': '', 'uniF818': '', 'uniECCC': '', 'uniE622': '', 'uniEC92': '', 'uniF31A': '',
                 'uniE86D': '', 'uniE33C': '', 'uniE1FA': '', 'uniE13E': ''}
     # 获取字符的name列表, 打印出来后发现第一个和最后一个name所对应的不是数字, 所以切片
     uni_list1 = font1.getGlyphNames()[1: -1]

     # 网页源码
     rsp = urlopen(url).read().decode()
     # 获取动态的字体文件并下载
     font_url = 'http://' + re.findall(r'url\(\'//(.*?\.woff)', rsp)[0]
     # web字体文件落地名
     filename = font_url.split('/')[-1]
     # 下载web字体文件
     urlretrieve(font_url, filename)

     # 打开web字体文件
     font2 = TTFont(filename)
     # 获取字符的name列表
     uni_list2 = font2.getGlyphNames()[1: -1]

     # web字体文件中name和num映射
     new_map = {}

     for uni2 in uni_list2:
         # 获取name 'uni2' 在font2中对应的对象
         obj2 = font2['glyf'][uni2]
         for uni1 in uni_list1:
             # 获取name 'uni1' 在font1中对应的对象
             obj1 = font1['glyf'][uni1]
             # 如果两个对象相等, 说明对应的数字一样
             if obj1 == obj2:
                 # 将name键num值对加入new_map
                 new_map[uni2] = loc_dict[uni1]

     # 将数字替换至源码
     for i in uni_list2:
         pattern = '&#x' + i[3:].lower() + ';'
         rsp = re.sub(pattern, new_map[i], rsp)

     # 返回处理处理后的源码
     return rsp

 if __name__ == '__main__':
     # 猫眼国内实时票房top10
     url = 'https://maoyan.com/board/1'
     # 替换数字后的网页源码
     res = process_font(url)

代码里loc.woff文件是先下载好的, 通过它找到数字和"描点坐标"之间的对应关系. 这个文件大家可以自己提前下载, 并且手动找到对应关系.

这里也提供了我下载的loc.woff文件, https://github.com/ysl125963/maoyan, 里面的font.xml文件就是通过saveXML()方法得到的, 可以看到字体文件的具体结构.

这是第一次写分享博客, 而且github也没怎么用过, 希望以后能坚持吧.