python爬取斗图网中的 “最新套图”和“最新表情”

1.分析斗图网

斗图网地址：http://www.doutula.com

网站的顶部有这两个部分：

先分析“最新套图”

发现地址栏变成了这个链接，我们在点击第二页

可见，每一页的地址栏只有后面的page不同，代表页数；这样请求的地址就可以写了。

2.寻找表情包

然后就要找需要爬取的表情包链接了。我用的是chrome浏览器，F12进入开发者模式。

找到图片对应的img元素，发现每个Img元素的class都是相同的。data-original属性对应的地址，就是我们要下载的图片。alt属性就是图片的名字。

对于”最新表情“的页面，同样也是如此。

3.编写代码

元素都找到了，可以上代码了：

 #coding=utf-8
 import requests
 from lxml import etree
 from urllib import request
 from time import sleep
 import socket
 import re

 socket.setdefaulttimeout(20)

 headers = {}
 headers["User-Agent"] = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0"
 headers["Host"] = "www.doutula.com"
 headers["Accept"] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
 headers["Accept-Language"] = "zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2"
 headers["Accept-Encoding"] = "gzip, deflate"
 headers["Connection"] = "close"
 headers["Upgrade-Insecure-Requests"] = ""

 def get_url(page):
     # 最新套图580页
     url = "http://www.doutula.com/article/list/?page=" + str(page)
     # 最新表情1855页
     # url = "http://www.doutula.com/photo/list/?page=" + str(page)
     response = requests.get(url, headers=headers)
     html = response.text
     selector = etree.HTML(html)
     # print(html)
     # 最新套图xpath
     img_url = selector.xpath('//img[@class="lazy image_dtb img-responsive"]/@data-original')
     img_name = selector.xpath('//img[@class="lazy image_dtb img-responsive"]/@alt')
     # 最新表情xpath
     # img_url = selector.xpath('//img[@style="width: 100%; height: 100%;"]/@data-original')
     # img_name = selector.xpath('//img[@style="width: 100%; height: 100%;"]/@alt')
     img_name = name_filter(img_name)
     for img in img_url:
         id = img_url.index(img)
         get_img(id, img, img_name)
     response.close()

 def get_img(id, img, img_name):
     """
     request.urlretrieve: 保存链接地址的文件
     """
     global j
     try:
         if img[-3:] == 'dta':
             if img[-7:-4] == 'gif':
                 request.urlretrieve(img, 'E:\\pictures\\%s.gif' % img_name[id])
             elif img[-7:-4] == 'png':
                 request.urlretrieve(img, 'E:\\pictures\\%s.png' % img_name[id])
             else:
                 request.urlretrieve(img, 'E:\\pictures\\%s.jpg' % img_name[id])
         elif img[-3:] == 'gif':
                 request.urlretrieve(img, 'E:\\pictures\\%s.gif' % img_name[id])
         elif img[-3:] == 'png':
                 request.urlretrieve(img, 'E:\\pictures\\%s.png' % img_name[id])
         else:
             request.urlretrieve(img, 'E:\\pictures\\%s.jpg' % img_name[id])
         print("下载第%d张表情包" % j + img)
     except Exception as ex: # urlopen error time out
         print(str(ex))
     j += 1

 def name_filter(img_name):
     """
     过滤文件名中的特殊字符
     """
     newlist = []
     for im in img_name:
         im = re.sub(r'\?', '', str(im)) # / \
         newlist.append(im)
     return newlist

 if __name__ == '__main__':

     j = 1
     for page in range(1, 581):
         print("第%s页" % page)
         while True:
             try:
                 get_url(page)
                 break
             except Exception as e:
                 print(str(e))
                 sleep(5)
         sleep(10)

4.运行结果

爬了两天，可能代码中的sleep时间有点长，服务器那边也老是断开连接。

数据有些偏差，可能下载的过程网络的问题导致的。

5.总结

编码过程中，对于异常处理的思考，还需要多提高；有许多会出现问题的地方，都没有考虑到。