登录人人网为例

1.想要发送post请求，那么使用'scrapy.FormRequest'方法，可以方便的指定表单数据

2.如果想在爬虫一开始的时候就发送post请求，那么应该重写'start_requests'方法，在这个方法中发送post请求

spider.py

 import scrapy

 class RenrenSpider(scrapy.Spider):

     name = 'renren'

     allowed_domains = ['renren.com']

     start_urls = ['http://renren.com/']

     def start_requests(self):

         url = 'http://www.renren.com/PLogin.do'

         data = {'email': 'user name', 'password': 'user password'}

         request = scrapy.FormRequest(url, formdata=data, callback=self.parse_page)    #发送post请求

         yield request

     def parse_page(self, response):

         request = scrapy.Request(url='http://www.renren.com/880151247/profile', callback=self.parse_profile)    #访问大鹏个人主页

         yield request

     def parse_profile(self, response):

         with open('dapeng.html', 'w', encoding='utf-8') as fp:

             fp.write(response.text)    #如果返回个人主页代码则说明登录成功#

返回结果

dapeng.html 部分代码

 <!Doctype html>

 <html class="nx-main860">

 <head>

     <meta name="Description" content="人人网 校内是一个真实的社交网络，联络你和你周围的朋友。 加入人人网校内你可以:联络朋友，了解他们的最新动态；和朋友分享相片、音乐和电影；找到老同学，结识新朋友；用照片和日志记录生活,展示自我。"/>

     <meta name="Keywords" content="Xiaonei,Renren,校内,大学,同学,同事,白领,个人主页,博客,相册,群组,社区,交友,聊天,音乐,视频,校园,人人,人人网"/>

     <title>人人网 - 大鹏董成鹏</title>

     <meta charset="utf-8"/>

 <link rel="shortcut icon" type="image/x-icon" href="http://a.xnimg.cn/favicon-rr.ico?ver=3" />

 <link rel="apple-touch-icon" href="http://a.xnimg.cn/wap/apple_icon_.png" />

 <link rel="stylesheet" type="text/css" href="http://s.xnimg.cn/a86614/nx/core/base.css">

 <script type="text/javascript">

 if(typeof nx === 'undefined'){

 var nx = {};

 }

说明登录成功

别忘了设置settings.py中的请求头和爬虫协议

scrapy 发送post请求的更多相关文章

  1. Scrapy发送POST请求

    一.发送post请求需要将start_urls注释,然后重写start_requests方法二.使用yield scrapy.FormRequest(url=post_url, formdata=fo ...

  2. scrapy基础知识之发送POST请求：

    可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求. 如果希望程序执行一开始就发送POST请求,可以重写Spider类的s ...

  3. scrapy 发post请求

    可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求. 如果希望程序执行一开始就发送POST请求,可以重写Spider类的s ...

  4. scrapy框架发送post请求

    注:scrapy框架默认发送get请求 1.想要发送post请求,那么推荐使用‘scrapy.FormRequest’方法.可以方便的制定表单数据.request = scrapy.FormReque ...

  5. scrapy框架post请求发送，五大核心组件，日志等级，请求传参

    一.post请求发送 - 问题:爬虫文件的代码中,我们从来没有手动的对start_urls列表中存储的起始url进行过请求的发送,但是起始url的确是进行了请求的发送,那这是如何实现的呢? - 解答: ...

  6. 【python爬虫】scrapy入门8:发送POST请求

    scrapy基础知识之发送POST请求与使用 FormRequest.from_response() 方法模拟登陆 https://blog.csdn.net/qq_33472765/article/ ...

  7. scrapy-redis源码解读之发送POST请求

    1 引言 这段时间在研究美团爬虫,用的是scrapy-redis分布式爬虫框架,奈何scrapy-redis与scrapy框架不同,默认只发送GET请求,换句话说,不能直接发送POST请求,而美团的数 ...

  8. Scrapy 发送Request Payload

    Scrapy 发送Request Payload 首先要打开 F12 进入调试模式 然后 查看是用什么方法获取的 如果是Json: 1. json.dumps 转化成Json yield Reques ...

  9. Java发送Http请求并获取状态码

    通过Java发送url请求,查看该url是否有效,这时我们可以通过获取状态码来判断. try { URL u = new URL("http://10.1.2.8:8080/fqz/page ...

随机推荐

  1. Python入门-字符串常用方法

    Python 字符串 字符串是 Python 中最常用的数据类型.我们可以使用引号('或")来创建字符串. 创建字符串很简单,只要为变量分配一个值即可. var1 = 'Hello Worl ...

  2. 容器化-Docker实战

    导读:本文系统性介绍Docker安装.Docker组件.Docker命令.Dockerfile语法和Docker应用,通过上述介绍使我们已经对docker基本操作有一定了解. 一.前言 本文将系统性的 ...

  3. javascript重定向页面并用post方法传递消息

    javascript中重定向页面得方法很多,同时能传递消息的也不少:但可用post方法传递的我只找到两种: 第一种方法:用document.write在 JavaScript函数中,用document ...

  4. Python之缩进块

    pycharm编辑器识别冒号,当换行后下一行默认是缩进块的位置:

  5. php-fpm-运行原理（转）

    转载自https://studygolang.com/articles/15073 php-fpm是一种master(主)/worker(子)多进程架构,与nginx设计风格有点类似.master进程 ...

  6. shell脚本--操作MySQL数据库

    其实就是一个很简单的套路,和其他语言差不多,首先连接数据库,然后在进行其他操作. 套路如下: #!/bin/bash mysql="mysql -uroot -proot" #连接 ...

  7. asp.net core认证和授权的初始认识--claim、claimsidentity、claimsprincipal

    Claim表示一个声明单元,它用来组成ClaimsIdentity.ClaimsIdentity表示一个证件,例如身份证,身份证上面的名字表示一个Claim,身份证号也表示一个Claim,所有这些Cl ...

  8. 遍历List过程中删除操作报java.util.ConcurrentModificationException错误

    1:遍历List 同时 remove 元素,出现java.util.ConcurrentModificationException错误 @Test public void test3(){ List& ...

  9. [转帖]Windows 操作系统有哪些原生的工具和软件不被人了解却很有用？

    Windows 操作系统有哪些原生的工具和软件不被人了解却很有用? 蛋蛋 司马米青E1E1九木 https://www.zhihu.com/question/25343481/answer/30798 ...

  10. VMWARE中NAT下获取不到IP

    1.编辑-虚拟网络编辑器-dhcp设置 2.虚拟机-可移动设备-网络适配器-设置,注意:这里一定要选nat,当初我就是选了桥接,死活上不去,搞了2个小时.