用scrapy实现模拟登陆
class Test1sSpider(scrapy.Spider):
name = 'test1s'
allowed_domains = ['yaozh.com']
start_urls = ['https://www.yaozh.com/login'] def parse(self, response):
login_url='https://www.yaozh.com/login'
formdata={
'username':'taotao857',
'pwd':'JAYO196618',
'formhash' :response.xpath('//input[ @ id = "formhash"]/@value').extract_first(),
'backurl':response.xpath('//input[@id="backurl"]/@value').extract_first()
}
yield scrapy.FormRequest(login_url,formdata=formdata,callback=self.parse_member)
def parse_member(self,response):
parse_member='https://www.yaozh.com/member/'
yield scrapy.Request(parse_member,callback=self.parse_test)
def parse_test(self,response):
with open('lll.html','wb') as f:
f.write(response.body)
f.close()
用scrapy实现模拟登陆的更多相关文章
- Scrapy基础(十四)————Scrapy实现知乎模拟登陆
		
模拟登陆大体思路见此博文,本篇文章只是将登陆在scrapy中实现而已 之前介绍过通过requests的session 会话模拟登陆:必须是session,涉及到验证码和xsrf的写入cookie验证的 ...
 - scrapy的一些容易忽视的点(模拟登陆,传递item等)
		
scrapy爬虫注意事项 一.item数据只有最后一条 这种情况一般存在于对标签进行遍历时,将item对象放置在了for循环的外部.解决方式:将item放置在for循环里面. 二.item字段传递 ...
 - Scrapy 模拟登陆知乎--抓取热点话题
		
工具准备 在开始之前,请确保 scrpay 正确安装,手头有一款简洁而强大的浏览器, 若是你有使用 postman 那就更好了. Python 1 scrapy genspid ...
 - 第三百四十三节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别
		
第三百四十三节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别 第一步.首先下载,大神者也的倒立文字验证码识别程序 下载地址:https://gith ...
 - 爬虫入门之scrapy模拟登陆(十四)
		
注意:模拟登陆时,必须保证settings.py里的COOKIES_ENABLED(Cookies中间件) 处于开启状态 COOKIES_ENABLED = True或# COOKIES_ENABLE ...
 - python之scrapy模拟登陆人人网
		
1.settings.py主要配置信息,包括USER_AGENT等 # -*- coding: utf-8 -*- # Scrapy settings for renren project # # F ...
 - python之scrapy携带Cookies模拟登陆
		
知识点 """ scrapy两种模拟登陆: 1.直接携带cookie 2.找到发送post请求的url地址,带上信息,发送请求 应用场景: 1.cookie过期时间很长, ...
 - Scrapy模拟登陆豆瓣抓取数据
		
scrapy startproject douban 其中douban是我们的项目名称 2创建爬虫文件 进入到douban 然后创建爬虫文件 scrapy genspider dou douban. ...
 - Scrapy模拟登陆
		
1. 为什么需要模拟登陆? #获取cookie,能够爬取登陆后的页面 2. 回顾: requests是如何模拟登陆的? #1.直接携带cookies请求页面 #2.找接口发送post请求存储cooki ...
 
随机推荐
- 分布式爬虫scrapy-redis
			
第一步 下载scrapy模块: pip install scrapy-redis 第二步 创建项目 在终端/cmd进入创建项目的目录: cd 路径: scrapy startproject douba ...
 - 4.Metasploit框架更新
			
Metasploit 进阶第二讲 框架更新 EDB平台-互联网安全漏洞库 Exploit_DB是一个面向全世界安全工作人员的漏洞提交平台,是一份公开已知漏洞的存档,便于企业改善公司的安全情况 ...
 - Debug 是门艺术
			
最近想结合发生在身边码农身上的一些小故事,尝试表达一个观点“Coding 是门技术,Debug 是门艺术”. 上期的分享<Coding 是门技术>主要通过引入身边 Code farmer ...
 - Linux基础:Day01
			
Linux操作系统的知识体系: 1.初级 2.中级 3.高级 4.*额外知识* 1.初级 1.1.OS操作系统的原理 1.2.开始了解常用的命令(系统管理的基础命令) 开机关机 时 ...
 - flask-migrate的基本使用
			
Flask-migrate 在实际开发环境中,经常会发生数据库修改的行为.一般我们修改数据库不会手动的去修改,而是去修改orm对应的模型, 然后再把模型映射到数据库中.这时候如果有一个工具能专门做这种 ...
 - 微信小程序(黑马优购)完成!!{10天}
			
微信小程序(黑马优购)完成!!{10天} 项目技术点: wxml, json, wxss, js, mina框架 附上视频链接添加链接描述
 - Array(数组)对象-->push() 方法
			
1.定义和用法 push() 方法可向数组的末尾添加一个或多个元素,并返回新的长度. 语法: array.push(item1, item2, ..., itemX) 参数:item1, item2, ...
 - 使用docker-compose编写常规的lnmp容器,pdo连接mysql失败。
			
问题的核心是yii2 是通过pdo的方式去连接数据的.但是我们通过容器去搭建lnmp环境时,nginx , php , mysql 这三个服务是独立的三个容器,彼此隔离.所以在yii2中连接mysql ...
 - IKAnalyzer修改支持lucene8.0
			
源码已经上传GitHub. 如果直接使用jar:IKAnalyzer-5.0.2. 在这我只是在原有代码结构上做了微调,让代码支持lucene8.0.
 - 从CentOS 7.0升级到7.7版本
			
我平时都在VirtualBox上装虚拟机,方法是导入ova镜像文件,比如导入从网上下载的CentOS7-base.ova,该ova为CentOS 7.0版本,而现在最新版本为7.7,为此进入系统后第一 ...