Python scrapy爬取带验证码的列表数据
首先所需要的环境:(我用的是Python2的,可以选择python3,具体遇到的问题自行解决,目前我这边几百万的数据量爬取)
环境: Python 2.7.10
Scrapy Scrapy 1.5.0
第三方库:
PyMySQL==0.8.0
Scrapy==1.5.0
pytesseract==0.2.0
pip==10.0.1
Pillow==5.1.0
logger==1.4
bs4==0.0.1
requests==2.18.4 创建项目
scrapy startproject mytest
创建爬虫程序
cd mytest
scrapy genspider name XXX.com
直接贴代码具体需要注意的特殊颜色标出有注释
# -*- coding: utf-8 -*-
import scrapy
import pytesseract #验证码识别库
from PIL import Image #验证码图片处理
from scrapy.http import Request
from yishi.items import YishiItem #items定义爬取字段
from yishi.settings import MYSQL_HOST, MYSQL_DBNAME, MYSQL_USER, MYSQL_PASSWD #settings数据库配置
import pymysql #连接数据库
import logging #打印日志
#设置日志
log_filename = '../static/data/info.log'
logging.basicConfig(filename=log_filename, filemode='a', level=logging.INFO)
class CreditSpider(scrapy.Spider):
name = 'name'
baseURL = 'https://xxx.com'
#start_urls = ''
#设置headers,打开网页直接看请求headers复制进去就可以了
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
'Host': 'xxx',
'Upgrade-Insecure-Requests': 1,
'User-Agent': 'xxx',
}
#数据库
connect = pymysql.connect(
host=MYSQL_HOST,
db=MYSQL_DBNAME,
user=MYSQL_USER,
passwd=MYSQL_PASSWD,
charset='utf8',
use_unicode=True) #重写start_requests
def start_requests(self):
return [Request(self.baseURL+'xxx',
headers=self.headers,
callback=self.parse,
dont_filter=True, #scrapy会对request的URL去重(RFPDupeFilter),加上dont_filter则告诉它这个URL不参与去重
)
] #首先需要请求一次网页
def parse(self, response):
#每次查询1条数据,搜索列表所需要的条件
cursor = self.connect.cursor()
sql = 'select id,xxx,xxx,xxx from xxx where xxx order by id limit 1'
cursor.execute(sql)
res = cursor.fetchall()
if res:
#请求网站所需要的参数,搜索条件
data = {
"xxx": res[0][1],
"xxx": '',
"xxx": '',
"xxx": res[0][2],
"xxx": '',
"xxx": '',
"xxx": '',
}
cursor.close()
return scrapy.Request(self.baseURL + '/xxx/captcha', #验证码图片地址
headers=self.headers,
meta={'data': data, 'dr_id': res[0][0], 'static': res[0][3], 'len': len(res)}, #第一次请求的参数传给下次请求,可以保存cookie之类的
callback=self.creditRes,
dont_filter=True
)
else:
#数据表中条件没有的时候结束爬虫,每次爬取要更新下条件表
print '执行完毕!'
pass #再次请求存验证码图片
def creditRes(self, response):
#保存验证码
captchaFile = '../static/images/code/captcha.png'
with open(captchaFile, 'wb') as f:
f.write(response.body)
try:
#pytesseract识别验证码
image = Image.open(captchaFile)
captcha_value = pytesseract.image_to_string(image)
print '验证码为:'+captcha_value
except:
#验证码失败 重新请求
logging.info('验证码获取失败')
return self.start_urls
#识别后的验证码作为参数使用
data = response.meta.get("data")
data["validCode"] = captcha_value return [scrapy.FormRequest(
url=self.baseURL+'xxx', #带上全部参数再次请求取数据
formdata=data,
method='GET',
meta={'dr_id': response.meta.get("dr_id"), 'static': response.meta.get("static"), 'len': response.meta.get("len"),
'captcha_value': captcha_value}, #带上部分参数保存或更新状态用
headers=self.headers,
callback=self.creditdata,
dont_filter=True,
)] def creditdata(self, response):
#获取验证码错误内容,识别验证是否成功
code_data = response.xpath("//span[@class='error']")
if code_data:
code = code_data.xpath(".//text()").extract()[0].decode('UTF-8')
logging.info('验证码校验失败,验证码:'+str(response.meta.get("captcha_value")))
else:
code = ''
#验证码错误时不更新状态,继续重复爬取
dr_id = response.meta.get("dr_id")
#不存在验证码识别更新状态,插入数据
if code.strip() not in ('验证码错误', '验证码不能为空'):
cursor = self.connect.cursor()
sql = 'update xxx set status=%s where id=%s' % (1, dr_id)
cursor.execute(sql)
self.connect.commit()
cursor.close()
else:
#验证码失败不更新状态
logging.info('验证码错误') node_list = response.xpath("//table[@id='formresult']/tbody/tr")
# 更新状态 0还未抓取数据 1已经抓取
logging.info('当前执行条件表id为'+ str(dr_id))
if node_list:
for node in node_list:
item = YishiItem()
item['xxx'] = dr_id
item['xxx'] = node.xpath(".//td[1]/text()").extract()[0].decode('UTF-8')
item['xxx'] = node.xpath(".//td[2]/text()").extract()[0].decode('UTF-8')
item['xxx'] = node.xpath(".//td[3]/text()").extract()[0].decode('UTF-8')
item['xxx'] = node.xpath(".//td[4]/text()").extract()[0].decode('UTF-8')
item['xxx'] = node.xpath(".//td[5]/text()").extract()[0].decode('UTF-8')
item['xxx'] = node.xpath(".//td[6]/text()").extract()[0].decode('UTF-8')
item['xxx'] = node.xpath(".//td[7]/text()").extract()[0].decode('UTF-8')
yield item
#分页数据,根据下一页爬取,可获取下页按钮状态去爬取分页数据
nextPage = response.xpath("//a[@class='disable' and @class='next']")
if nextPage:
if not len(nextPage):
#下一页a标签url
url = response.xpath("//a[@class='disable' and @class='next']/@href").extract()[0]
yield scrapy.Request(self.baseURL+'/'+url, callback=self.creditdata) # 根据状态status=0判断是否继续爬取数据
len = response.meta.get("len")
if not len == 0:
yield scrapy.Request(self.baseURL+'xxx',
headers=self.headers,
callback=self.parse,
dont_filter=True) items设置:
xxx = scrapy.Field()
xxx = scrapy.Field()
... pipelines存数据库这个就不说了根据自己的业务
注:目前我网站验证码比较简单可以直接使用pytesseract,识别率95%以上,也可以用别的方式识别,验证码如:
参考:http://www.pythonsite.com/?p=358
个人感觉用requests.get() 方式写要简单一些,本地已测试过,
根据业务需求用scrapy完成的。
requests
.get()
主要问题就是
session = requests.session() 这句是重点,看不懂的可以加qq群公共学习
Python scrapy爬取带验证码的列表数据的更多相关文章
- python scrapy爬取HBS 汉堡南美航运公司柜号信息
下面分享个scrapy的例子 利用scrapy爬取HBS 船公司柜号信息 1.前期准备 查询提单号下的柜号有哪些,主要是在下面的网站上,输入提单号,然后点击查询 https://www.hamburg ...
- Python——Scrapy爬取链家网站所有房源信息
用scrapy爬取链家全国以上房源分类的信息: 路径: items.py # -*- coding: utf-8 -*- # Define here the models for your scrap ...
- python爬虫爬取get请求的页面数据代码样例
废话不多说,上代码 #!/usr/bin/env python # -*- coding:utf-8 -*- # 导包 import urllib.request import urllib.pars ...
- 使用python scrapy爬取知乎提问信息
前文介绍了python的scrapy爬虫框架和登录知乎的方法. 这里介绍如何爬取知乎的问题信息,并保存到mysql数据库中. 首先,看一下我要爬取哪些内容: 如下图所示,我要爬取一个问题的6个信息: ...
- Python Scrapy 爬取煎蛋网妹子图实例(一)
前面介绍了爬虫框架的一个实例,那个比较简单,这里在介绍一个实例 爬取 煎蛋网 妹子图,遗憾的是 上周煎蛋网还有妹子图了,但是这周妹子图变成了 随手拍, 不过没关系,我们爬图的目的是为了加强实战应用,管 ...
- python scrapy 爬取西刺代理ip(一基础篇)(ubuntu环境下) -赖大大
第一步:环境搭建 1.python2 或 python3 2.用pip安装下载scrapy框架 具体就自行百度了,主要内容不是在这. 第二步:创建scrapy(简单介绍) 1.Creating a p ...
- python scrapy爬取知乎问题和收藏夹下所有答案的内容和图片
上文介绍了爬取知乎问题信息的整个过程,这里介绍下爬取问题下所有答案的内容和图片,大致过程相同,部分核心代码不同. 爬取一个问题的所有内容流程大致如下: 一个问题url 请求url,获取问题下的答案个数 ...
- Python Scrapy 爬取煎蛋网妹子图实例(二)
上篇已经介绍了 图片的爬取,后来觉得不太好,每次爬取的图片 都在一个文件下,不方便区分,且数据库中没有爬取的时间标识,不方便后续查看 数据时何时爬取的,所以这里进行了局部修改 修改一:修改爬虫执行方式 ...
- python+scrapy 爬取西刺代理ip(一)
转自:https://www.cnblogs.com/lyc642983907/p/10739577.html 第一步:环境搭建 1.python2 或 python3 2.用pip安装下载scrap ...
随机推荐
- centos7.5固定局域网ip
有点时候,比如像我们单位,没事干就停一次网,结果ip变了,还得重新看ip,重新配置,很麻烦,所以干脆把自己ip固定,以不变应万变!!! 1.首先查看自己的ip是什么: $ ifconfig eno1: ...
- 关于mongodb基础的命令
banji----数据库 class---集合 1.查看所在的数据库 db 2.查看所有的数据库 show dbs 3.创建数据库 use banji #查看所有的数据库show dbs,创建的数据库 ...
- 使用Navicat定时备份mysql数据库和创建报表并邮件自动发送
数据库备份在现代计算机高速发展的今日变得日益重要,程序员往往因为不重视而忽略备份数据,导致数据丢失,造成非常严重的后果.定时备份无疑是解决备份的最好的途径,本文主要使用Navicat来自动备份数据库和 ...
- 重新设计导出API
优雅的API是清晰简洁的,就像少女的肌肤一样柔滑. 背景 API 是软件应用向外部提供自身服务的一种形态和公开接口.就像一个人的着装打扮.举止言行.形象状态,是其内在的某种体现.很少有人能看到对方灵魂 ...
- KVM 通过virsh console连入虚拟机
新安装一台虚拟机后,是无法通过virsh console 命令连入虚拟机中的,这时我们需要开启虚拟机的console功能. 一.添加ttyS0的许可,允许root登陆 [root@localhost ...
- IDEA循环依赖报错解决方案
step1.查找循环依赖 step2.在IDEA菜单栏中打开Analyze->Analyze Module Dependencies...看到有的模块被红色的标出来了,此时右边显示了循环依赖,那 ...
- 提bug
大多数公司都是用bugzilla来管理bug,也有的公司使用内部开发的bug管理平台.这里以bugzilla为例,我最不爽的是提bug的时候既要选择severity(严重级别)又要选择priority ...
- 使用python玩跳一跳亲测使用步骤详解
玩微信跳一跳,测测python跳一跳,顺便蹭一蹭热度: 参考博文 使用python玩跳一跳超详细使用教程 WIN10系统,安卓用户请直入此: python辅助作者github账号为:wangshub. ...
- JS(JavaScript)的初了解5(更新中···)
1.函数 关键词function 首先,我们先复习一下前面的知识: var 是JS的关键字,用于声明变量,声明在内存模块完成,定义(=)是在执行模块完成. var可以在内存模块提前(JS代码执行前)完 ...
- react-router 4.0(四)跳转404
import React from 'react' import ReactDOM from 'react-dom' import { HashRouter, Route, Link, Prompt, ...