web爬虫，requests请求

requests请求，就是用yhthon的requests模块模拟浏览器请求，返回html源码

模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求

一、不需要用户登录或者验证的请求

这种比较简单，直接利用requests模块发一个请求即可拿到html源码

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

http =requests.get(url="http://www.iqiyi.com/")     #发送http请求

http.encoding = "utf-8"                             #http请求编码

neir = http.text                                    #获取http字符串代码

print(neir)

得到html源码

<!DOCTYPE html>

<html>

<head>

<title>抽屉新热榜-聚合每日热门、搞笑、有趣资讯</title>

        <meta charset="utf-8" />

        <meta name="keywords" content="抽屉新热榜,资讯,段子,图片,公众场合不宜,科技,新闻,节操,搞笑" />

        <meta name="description" content="

            抽屉新热榜，汇聚每日搞笑段子、热门图片、有趣新闻。它将微博、门户、社区、bbs、社交网站等海量内容聚合在一起，通过用户推荐生成最热榜单。看抽屉新热榜，每日热门、有趣资讯尽收眼底。

            " />

        <meta name="robots" content="index,follow" />

        <meta name="GOOGLEBOT" content="index,follow" />

        <meta name="Author" content="搞笑" />

        <meta http-equiv="X-UA-Compatible" content="IE=EmulateIE8">

        <link type="image/x-icon" href="/images/chouti.ico" rel="icon"/>

        <link type="image/x-icon" href="/images/chouti.ico" rel="Shortcut Icon"/>

        <link type="image/x-icon" href="/images/chouti.ico" rel="bookmark"/>

    <link type="application/opensearchdescription+xml"

          href="opensearch.xml" title="抽屉新热榜" rel="search" />

二、需要用户登录或者验证的请求

获取这种页面时，我们首先要了解整个登录过程，一般登录过程是，当用户第一次访问时，会自动在浏览器生成cookie文件，当用户输入登录信息后会携带着生成的cookie文件，如果登录信息正确会给这个cookie

授权，授权后以后访问需要登录的页面时携带授权后cookie即可

1、首先访问一下首页，然后查看是否有自动生成cookie

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie

i1 = requests.get(

    url="http://dig.chouti.com/",

    headers={'Referer': 'http://dig.chouti.com/'}

)

i1.encoding = "utf-8"                               #http请求编码

i1_cookie = i1.cookies.get_dict()

print(i1_cookie)                                    #返回获取到的cookie

#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

可以看到生成了cookie，说明如果登陆信息正确，后台会给这里的cookie授权，以后访问需要登录的页面携带授权后的cookie即可

2、让程序自动去登录授权cookie

首先我们用浏览器访问登录页面，随便乱输入一下登录密码和账号，获取登录页面url，和登录所需要的字段

携带cookie登录授权

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie

i1 = requests.get(

    url="http://dig.chouti.com/",

    headers={'Referer':'http://dig.chouti.com/'}

)

i1.encoding = "utf-8"                               #http请求编码

i1_cookie = i1.cookies.get_dict()

print(i1_cookie)                                    #返回获取到的cookie

#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权

i2 = requests.post(

    url="http://dig.chouti.com/login",              #登录url

    data={                                          #登录字段

        'phone': "8615284816568",

        'password': "279819",

        'oneMonth': ""

    },

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=i1_cookie                               #携带cookie

)

i2.encoding = "utf-8"

dluxxi = i2.text

print(dluxxi)                                       #查看登录后服务器的响应

#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

3、登录成功后，说明后台已经给cookie授权，这样我们访问需要登录的页面时，携带这个cookie即可，比如获取个人中心

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie

i1 = requests.get(

    url="http://dig.chouti.com/",

    headers={'Referer':'http://dig.chouti.com/'}

)

i1.encoding = "utf-8"                               #http请求编码

i1_cookie = i1.cookies.get_dict()

print(i1_cookie)                                    #返回获取到的cookie

#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权

i2 = requests.post(

    url="http://dig.chouti.com/login",              #登录url

    data={                                          #登录字段

        'phone': "8615284816568",

        'password': "279819",

        'oneMonth': ""

    },

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=i1_cookie                               #携带cookie

)

i2.encoding = "utf-8"

dluxxi = i2.text

print(dluxxi)                                       #查看登录后服务器的响应

#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

### 3、访问需要登录才能查看的页面，携带着授权后的cookie访问

shouquan_cookie = i1_cookie

i3 = requests.get(

    url="http://dig.chouti.com/user/link/saved/1",

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=shouquan_cookie                        #携带着授权后的cookie访问

)

i3.encoding = "utf-8"

print(i3.text)                                     #查看需要登录才能查看的页面

获取需要登录页面的html源码成功

全部代码

get()方法，发送get请求
encoding属性，设置请求编码
cookies.get_dict()获取cookies
post()发送post请求
text获取服务器响应信息

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie

i1 = requests.get(

    url="http://dig.chouti.com/",

    headers={'Referer':'http://dig.chouti.com/'}

)

i1.encoding = "utf-8"                               #http请求编码

i1_cookie = i1.cookies.get_dict()

print(i1_cookie)                                    #返回获取到的cookie

#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权

i2 = requests.post(

    url="http://dig.chouti.com/login",              #登录url

    data={                                          #登录字段

        'phone': "8615284816568",

        'password': "279819",

        'oneMonth': ""

    },

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=i1_cookie                               #携带cookie

)

i2.encoding = "utf-8"

dluxxi = i2.text

print(dluxxi)                                       #查看登录后服务器的响应

#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

### 3、访问需要登录才能查看的页面，携带着授权后的cookie访问

shouquan_cookie = i1_cookie

i3 = requests.get(

    url="http://dig.chouti.com/user/link/saved/1",

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=shouquan_cookie                        #携带着授权后的cookie访问

)

i3.encoding = "utf-8"

print(i3.text)                                     #查看需要登录才能查看的页面

注意：如果登录需要验证码，那就需要做图像处理，根据验证码图片，识别出验证码，将验证码写入登录字段

web爬虫，requests请求的更多相关文章

Python爬虫requests请求库
requests:pip install request 安装实例: import requestsurl = 'http://www.baidu.com'response = requests. ...
第三百二十二节，web爬虫，requests请求
第三百二十二节,web爬虫,requests请求 requests请求,就是用yhthon的requests模块模拟浏览器请求,返回html源码模拟浏览器请求有两种,一种是不需要用户登录或者验证的请 ...
一 web爬虫，requests请求
requests请求,就是用python的requests模块模拟浏览器请求,返回html源码模拟浏览器请求有两种,一种是不需要用户登录或者验证的请求,一种是需要用户登录或者验证的请求一.不需要用 ...
1、web爬虫，requests请求
requests请求,就是用python的requests模块模拟浏览器请求,返回html源码模拟浏览器请求有两种,一种是不需要用户登录或者验证的请求,一种是需要用户登录或者验证的请求一.不需要用 ...
爬虫 Http请求,urllib2获取数据,第三方库requests获取数据,BeautifulSoup处理数据,使用Chrome浏览器开发者工具显示检查网页源代码,json模块的dumps，loads，dump，load方法介绍
爬虫 Http请求,urllib2获取数据,第三方库requests获取数据,BeautifulSoup处理数据,使用Chrome浏览器开发者工具显示检查网页源代码,json模块的dumps,load ...
第三百二十七节，web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求
第三百二十七节,web爬虫讲解2—urllib库爬虫利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码read()读出html源码内容decode(& ...
解决爬虫浏览器中General显示 Status Code:304 NOT MODIFIED，而在requests请求时出现403被拦截的情况。
在此,非常感谢 “完美风暴4” 的无私共享经验的精神在Python爬虫爬取网站时,莫名遇到浏览器中General显示 Status Code: 304 NOT MODIFIED 而在req ...
爬虫（一）—— 请求库（一）requests请求库
目录 requests请求库爬虫:爬取.解析.存储一.请求二.响应三.简单爬虫四.requests高级用法五.session方法(建议使用) 六.selenium模块 requests请求 ...
爬虫 http原理,梨视频,github登陆实例,requests请求参数小总结
回顾:http协议基于请求响应的方式,请求:请求首行请求头{'keys':vales} 请求体 :响应:响应首行,响应头{'keys':'vales'},响应体. import socket soc ...

随机推荐

Spring _day02_IoC注解开发入门
1.Spring IoC注解开发入门 1.1 注解开发案例: 创建项目所需要的jar,四个基本的包(beans core context expression ),以及两个日志记录的包,还要AOP的包 ...
JavaScript常用数组操作方法，包含ES6方法
一.concat() concat() 方法用于连接两个或多个数组.该方法不会改变现有的数组,仅会返回被连接数组的一个副本. var arr1 = [1,2,3]; var arr2 = [4,5]; ...
Python 实现清屏
使用Python的IDLE到某个程序节点时,需要清屏以提高清晰度. 但IDLE本身并没有这个功能,我们可以通过扩展来实现类似于Ctrl + L的清屏资料来自于百度经验的 BinnLZeng 先制作一 ...
C++二维数组、指针、对象数组、对象指针
项目中用到,随手记一下: 1.二维数组.与指针创建二维数组指针的方式: a.已知一维的大小 1 int **array=new int *[rows]; 2 (for int i=0;i<ro ...
基本矩张量与strike.dip.rake的对应
basefp1=[ ]; M(,:)=[ ]; basefp2=[ -];M(,:)=[ - ]; basefp3=[ ];M(,:)=[ ]; basefp4=[ -];M(,:)=[ ]; bas ...
web开发中代码解决部分IE兼容问题
首先是自己遇到问题: 一套系统,以前的开发asp旧+c#新后台管理扩展.完善后,在2013年前基本无问题,很是畅顺. 其中.到升级了浏览器后.例如ie9以后,则问题出现了. 如图: 这是一个js的 ...
JavaScript中call和apply方法的使用
acvaScript中的call()方法和apply()方法,在某些时候这两个方法还确实是十分重要的.1. 每个函数都包含两个非继承而来的方法:call()方法和apply()方法.2. 相同点:这两 ...
double 四舍五入保留一定的位数
/** * double 类型的四舍五入保留一定的位数 * @param value * @param decimal 保留的位数 * @return * @throws Exception */ ...
Linux 登陆配置读取顺序
Linux用户在登陆到Linux服务器时,一些登陆的提示欢迎信息,以及特定的环境配置等等都按预先设定好的配置来生效.Linux中的这个shell环境会读取很多不同的配置文件来达成上述目的,同时还有登陆 ...
Java学习笔记(3)
1.Math类提供三类方法三角函数 sin(radians) 返回弧度的正弦值 cos(radians) 返回弧度的余弦值 tan(radians) 返回弧度的正切值(余切求倒数即可) ...

web爬虫，requests请求

web爬虫，requests请求的更多相关文章

随机推荐

热门专题