python爬虫我是斗图之王


本文会以斗图啦网站为例,爬取所有表情包。

阅读之前需要对线程池、连接池、正则表达式稍作了解。

分析网站

页面url分析

打开斗图啦网站,简单翻阅之后发现最新表情每页包含的表情是最多的。

其url是: /photo/list/?page=2 其中page参数为页码,目前有1578

页面图片元素分析

使用chrome的开发者工具分析一个图片的元素

<img src="https://ws1.sinaimg.cn/bmiddle/9150e4e5gy1frp2ulvf8uj20dw0hdmy2.jpg" style="width: 100%; height: 184.471px; display: block;" data-original="https://ws1.sinaimg.cn/bmiddle/9150e4e5gy1frp2ulvf8uj20dw0hdmy2.jpg" alt="简直不知羞耻" class="img-responsive lazy image_dta" data-backup="//img.doutula.com/production/uploads/image//2018/05/27/20180527387499_dYXqmw.jpg!dta">

可以看到img元素中包含我们想要信息:图片地址图片描述

注意此时实际上我看到是浏览器渲染之后的页面,所以元素可能会是动态生成的。

如果我们要提高效率则应该使用web1.0,因为web2.0需要会更慢也更复杂。

要查看未渲染之前的页面,右键查看源代码搜索图片链接

<img src="//www.doutula.com/build/img/loader.gif"
style="width: 100%; height: 100%;"
data-original="https://ws1.sinaimg.cn/bmiddle/9150e4e5gy1frp2ulvf8uj20dw0hdmy2.jpg"
alt="简直不知羞耻" class="img-responsive lazy image_dta"
data-backup="//img.doutula.com/production/uploads/image//2018/05/27/20180527387499_dYXqmw.jpg!dta">

img标签的src属性并非真正的图片地址,推测网站使用了图片懒加载技术,感兴趣可以自己搜索。

虽然src不是图片地址,但发现其实data-original就是真正的图片地址。

图床分析

根据之前的分析,其实该网站使用新浪的图床ws1.sinaimg.cn,多查看几个图片地址发现不一定是ws1子域名

可能是任何ws开头,后面跟数字。为什么会这样?

根据HTTP/1.1协议规定,浏览器客户端在同一时间,针对同一域名下的请求有一定数量限制。超过限制数目的请求会被阻塞

Clients that use persistent connections SHOULD limit the number of simultaneous connections that they maintain to a given server. A single-user client SHOULD NOT maintain more than 2 connections with any server or proxy. A proxy SHOULD use up to 2*N connections to another server or proxy, where N is the number of simultaneously active users. These guidelines are intended to improve HTTP response times and avoid congestion.

来源: RFC-2616-8.1.4 Practical Considerations

而不同的浏览器有不同的限制

所以新浪图床为了优化浏览器访问图片的速度,图片地址使用了不同的子域名来绕过这种限制

测试发现,固定子域名ws1中的数字,图片也依旧可以访问,https也使用http访问

流程梳理

  1. 通过改变page参数爬取所有列表页面/photo/list/?page=1

  2. 通过正则获取img标签的图片地址图片描述

  3. 进一步下载图片,并保存为文件

优化说明

  • 为更快爬取页面和图片使用线程池并发请求

  • 连接池要保证域名不能改变,所以图片链接中ws*均替换为ws1

  • 为了得到更快的下载图片https退回到http

代码

需要先安装requests库pip install requests

# -*- coding: utf-8 -*-
import re
import os
import requests
import multiprocessing
from multiprocessing.pool import ThreadPool # 设置图片保存文件夹
BASE_DIR = os.path.join(os.path.dirname(__file__), 'pic')
# 创建三个队列,分别用于图片任务、页面任务、日志记录
picqueue = multiprocessing.Queue()
pagequeue = multiprocessing.Queue()
logqueue = multiprocessing.Queue()
# 创建两个线程池,分别用于图片任务,页面任务
picpool = ThreadPool(30)
pagepool = ThreadPool(3) error = [] def getimglist(body):
imglist = re.findall(
r'data-original="https://ws\d([^"]+)"\s+alt="([^"]+)"', body)
for url, name in imglist: if name:
#根据图片描述拼接最终的图片文件名
name = name[:180] + url[-4:]
#https->http ws*->ws1
url = "http://ws1" + url
logqueue.put(url)
picqueue.put((name, url)) def savefile():
#当前线程位置唯一的一个连接
http = requests.Session()
while True:
name, url = picqueue.get()
#判断是否已经下载
if not os.path.isfile(os.path.join(BASE_DIR, name)):
req = http.get(url)
try:
open(os.path.join(BASE_DIR, name), 'wb').write(req.content)
except:
error.append([name, url]) def getpage():
#当前线程位置唯一的一个连接
http = requests.Session()
while True:
pageid = pagequeue.get()
req = http.get(
"https://www.doutula.com/photo/list/?page={}".format(pageid))
getimglist(req.text) def main():
if not os.path.isdir(BASE_DIR):
os.mkdir(BASE_DIR) # 将页码放入队列中
for x in range(1, 1579):
pagequeue.put(x) # 启动页面任务池
for x in range(3):
pagepool.apply_async(getpage) # 启动图片任务池
for x in range(30):
picpool.apply_async(savefile) # 打印普片任务剩余个数,页面剩余个数,以及抓取到的url连接
while True:
print(picqueue.qsize(), pagequeue.qsize(), logqueue.get()) if __name__ == '__main__':
main()

结果

可以看到100M带宽基本吃满

环境差异、网络波动可能会使一些图片下载失败。多执行几次即可。

最终大约可以下载到六万多张表情表。

斗图

他有的图咱都有

而且可以反怼回去

想要我最后这个用大易语言写的斗图工具,赶紧来bugscan社区下载源码吧。

python爬虫我是斗图之王的更多相关文章

  1. python爬取斗图网中的 “最新套图”和“最新表情”

    1.分析斗图网 斗图网地址:http://www.doutula.com 网站的顶部有这两个部分: 先分析“最新套图” 发现地址栏变成了这个链接,我们在点击第二页 可见,每一页的地址栏只有后面的pag ...

  2. Python爬取 斗图表情,让你成为斗图大佬

    话不多说,上结果(只爬了10页内容) 上代码:(可直接运行)   用到Xpath #encoding:utf-8 # __author__ = 'donghao' # __time__ = 2018/ ...

  3. python多线程爬虫+批量下载斗图啦图片项目(关注、持续更新)

    python多线程爬虫项目() 爬取目标:斗图啦(起始url:http://www.doutula.com/photo/list/?page=1) 爬取内容:斗图啦全网图片 使用工具:requests ...

  4. Python爬虫入门教程 13-100 斗图啦表情包多线程爬取

    斗图啦表情包多线程爬取-写在前面 今天在CSDN博客,发现好多人写爬虫都在爬取一个叫做斗图啦的网站,里面很多表情包,然后瞅了瞅,各种实现方式都有,今天我给你实现一个多线程版本的.关键技术点 aioht ...

  5. python 爬虫系列09-异步斗图来一波

    斗图斗图,妈妈再也不怕我都不赢了 import requests from lxml import etree from urllib import request import os import ...

  6. python 斗图图片爬虫

    捣鼓了三小时,有一些小Bug,望大佬指导 废话不说,直接上代码: #!/usr/bin/python3 # -*- coding:UTF-8 -*- import os,re,requests fro ...

  7. python多线程爬取斗图啦数据

    python多线程爬取斗图啦网的表情数据 使用到的技术点 requests请求库 re 正则表达式 pyquery解析库,python实现的jquery threading 线程 queue 队列 ' ...

  8. Python爬虫入门教程 12-100 半次元COS图爬取

    半次元COS图爬取-写在前面 今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 c ...

  9. Python爬虫入门教程 2-100 妹子图网站爬取

    妹子图网站爬取---前言 从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写爬图片这一件事情.希望可以做好. 为了写好爬虫,我们 ...

随机推荐

  1. inviteflood 洪泛滥工具

    inviteflood是一种通过UDP/IP执行SIP/SDP INVITE消息泛洪的工具,描述可以参考:inviteflood Package Description 使用inviteflood工具 ...

  2. Python3中的SocketServer

    socket并不能多并发,只能支持一个用户,socketserver 简化了编写网络服务程序的任务,socketserver是socket的在封装.socketserver在python2中为Sock ...

  3. IIS7.5 配置应用程序初始化功能

    IIS进程回收后,第一次访问会超级慢,这对于用户是不能接受的,怎么解决这个问题? 我们不能设置IIS不回收进程,因为这样可能会导致IIS内存泄漏.有效的方法时,尽量在业务空闲时间回收进程,回收后立刻预 ...

  4. linux 进程优先级 之设置实时进程 (另一种方式是设置nice值)【转】

    转自:https://www.cnblogs.com/jkred369/p/6731353.html Linux内核的三种调度策略: 1,SCHED_OTHER 分时调度策略, 2,SCHED_FIF ...

  5. python之jsonpath的使用

    import json import jsonpath import requests url="https://www.lagou.com/lbs/getAllCitySearchLabe ...

  6. PHP 不让标准浏览器(firfox,chrome等)走浏览器的缓存页面

    或在HTML页面里加: <META HTTP-EQUIV="Cache-Control" CONTENT="no-cache,no-store, must-reva ...

  7. oracle命令生成AWR报告

    --命令生成AWR报告oracle@linux:~> sqlplus / as sysdba SQL*Plus: Release 11.1.0.7.0 - Production on Fri A ...

  8. [SVN技巧]代码提交中遇到的两个问题及其解决方案

    前言 SVN在使用的过程中会遇到各种各样的问题,小黑在最近的使用中,遇到如下的两个问题,这里贴出来供大家参考 问题记录 SVN在源码仓库中不存在,导致无法删除和上传 问题提示: Working cop ...

  9. Producer Flow Control 和 vmQueueCursor

    ActiveMQ可以开启或关闭生产者流量控制Producer Flow Control ,基本原理是producer 发送一条消息会收到broker返回的ack响应,当磁盘或内存快满的时候broker ...

  10. scrollview 滚动布局

    <ScrollView xmlns:android="http://schemas.android.com/apk/res/android"    android:layou ...