登录人人网为例

1.想要发送post请求，那么使用'scrapy.FormRequest'方法，可以方便的指定表单数据

2.如果想在爬虫一开始的时候就发送post请求，那么应该重写'start_requests'方法，在这个方法中发送post请求

spider.py

 import scrapy

 class RenrenSpider(scrapy.Spider):

     name = 'renren'

     allowed_domains = ['renren.com']

     start_urls = ['http://renren.com/']

     def start_requests(self):

         url = 'http://www.renren.com/PLogin.do'

         data = {'email': 'user name', 'password': 'user password'}

         request = scrapy.FormRequest(url, formdata=data, callback=self.parse_page)    #发送post请求

         yield request

     def parse_page(self, response):

         request = scrapy.Request(url='http://www.renren.com/880151247/profile', callback=self.parse_profile)    #访问大鹏个人主页

         yield request

     def parse_profile(self, response):

         with open('dapeng.html', 'w', encoding='utf-8') as fp:

             fp.write(response.text)    #如果返回个人主页代码则说明登录成功#

返回结果

dapeng.html 部分代码

 <!Doctype html>

 <html class="nx-main860">

 <head>

     <meta name="Description" content="人人网 校内是一个真实的社交网络，联络你和你周围的朋友。 加入人人网校内你可以:联络朋友，了解他们的最新动态；和朋友分享相片、音乐和电影；找到老同学，结识新朋友；用照片和日志记录生活,展示自我。"/>

     <meta name="Keywords" content="Xiaonei,Renren,校内,大学,同学,同事,白领,个人主页,博客,相册,群组,社区,交友,聊天,音乐,视频,校园,人人,人人网"/>

     <title>人人网 - 大鹏董成鹏</title>

     <meta charset="utf-8"/>

 <link rel="shortcut icon" type="image/x-icon" href="http://a.xnimg.cn/favicon-rr.ico?ver=3" />

 <link rel="apple-touch-icon" href="http://a.xnimg.cn/wap/apple_icon_.png" />

 <link rel="stylesheet" type="text/css" href="http://s.xnimg.cn/a86614/nx/core/base.css">

 <script type="text/javascript">

 if(typeof nx === 'undefined'){

 var nx = {};

 }

说明登录成功

别忘了设置settings.py中的请求头和爬虫协议

scrapy 发送post请求的更多相关文章

  1. Scrapy发送POST请求

    一.发送post请求需要将start_urls注释,然后重写start_requests方法二.使用yield scrapy.FormRequest(url=post_url, formdata=fo ...

  2. scrapy基础知识之发送POST请求：

    可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求. 如果希望程序执行一开始就发送POST请求,可以重写Spider类的s ...

  3. scrapy 发post请求

    可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求. 如果希望程序执行一开始就发送POST请求,可以重写Spider类的s ...

  4. scrapy框架发送post请求

    注:scrapy框架默认发送get请求 1.想要发送post请求,那么推荐使用‘scrapy.FormRequest’方法.可以方便的制定表单数据.request = scrapy.FormReque ...

  5. scrapy框架post请求发送，五大核心组件，日志等级，请求传参

    一.post请求发送 - 问题:爬虫文件的代码中,我们从来没有手动的对start_urls列表中存储的起始url进行过请求的发送,但是起始url的确是进行了请求的发送,那这是如何实现的呢? - 解答: ...

  6. 【python爬虫】scrapy入门8:发送POST请求

    scrapy基础知识之发送POST请求与使用 FormRequest.from_response() 方法模拟登陆 https://blog.csdn.net/qq_33472765/article/ ...

  7. scrapy-redis源码解读之发送POST请求

    1 引言 这段时间在研究美团爬虫,用的是scrapy-redis分布式爬虫框架,奈何scrapy-redis与scrapy框架不同,默认只发送GET请求,换句话说,不能直接发送POST请求,而美团的数 ...

  8. Scrapy 发送Request Payload

    Scrapy 发送Request Payload 首先要打开 F12 进入调试模式 然后 查看是用什么方法获取的 如果是Json: 1. json.dumps 转化成Json yield Reques ...

  9. Java发送Http请求并获取状态码

    通过Java发送url请求,查看该url是否有效,这时我们可以通过获取状态码来判断. try { URL u = new URL("http://10.1.2.8:8080/fqz/page ...

随机推荐

  1. codeforces#1090 D. New Year and the Permutation Concatenation（打表找规律）

    题意:给出一个n,生成n的所有全排列,将他们按顺序前后拼接在一起组成一个新的序列,问有多少个长度为n的连续的子序列和为(n+1)*n/2 题解:由于只有一个输入,第一感觉就是打表找规律,虽然表打出来了 ...

  2. 【kindle笔记】之 《活着》-2018-2-5

    [kindle笔记]读书记录-总 2018-2-5 今天凌晨一口气看完了<活着>,没想到竟然是个赤裸裸的悲剧,心情不太好地睡去. 福贵,一个小人物,坎坷无比的一生. 当你以为真他妈惨,真是 ...

  3. PyCharm中快速给选中的代码加上{}、<>、()、[]

    快捷键Ctrl + Shift + S 呼出下图所示界面:

  4. PAT 7-12 拯救007

    在老电影“007之生死关头”(Live and Let Die)中有一个情节,007被毒贩抓到一个鳄鱼池中心的小岛上,他用了一种极为大胆的方法逃脱 —— 直接踩着池子里一系列鳄鱼的大脑袋跳上岸去!(据 ...

  5. Tomcat Cluster

    Tomcat群集配置| Tomcat集群| MuleSofthttps://www.mulesoft.com/tcat/tomcat-cluster Tomcat Clustering - A Ste ...

  6. 配置router列表

    import Vue from "vue"; import VueRouter from 'vue-router'; import Star from '../components ...

  7. [转帖]KMS 是什么 以及 优缺点

    产品激活 比如Windows激活 , office激活 等激活的原理是什么? KMS等激活工具安全吗? http://www.cnblogs.com/flowerslip/p/8370832.html ...

  8. Oracle 条件判断函数decode和case when then案例

    --decode条件判断函数 ,,,,,) from dual --需求:不通过连表查询,显示业主类型名称列的值 ,,,'商业','其他') from t_owners --case when the ...

  9. CBV源码分析+APIVIew源码分析

    {drf,resful,apiview,序列化组件,视图组件,认证组件,权限组件,频率组件,解析器,分页器,响应器,URL控制器,版本控制} 一.CBV源码分析准备工作: 新建一个Django项目 写 ...

  10. python之路--初识面向对象

    一 . 初识面向对象 面向过程: 一切以事务的发展流程为中心. 面向对象: 一切以对象为中心. 一切皆为对象. 具体的某一个事务就是对象 打比方: 大象进冰箱 步骤: 第一步, 开门, 第二步, 装大 ...