第三百二十二节，web爬虫，requests请求

requests请求，就是用yhthon的requests模块模拟浏览器请求，返回html源码

模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求

一、不需要用户登录或者验证的请求

这种比较简单，直接利用requests模块发一个请求即可拿到html源码

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

http =requests.get(url="http://www.iqiyi.com/")     #发送http请求

http.encoding = "utf-8"                             #http请求编码

neir = http.text                                    #获取http字符串代码

print(neir)

得到html源码

<!DOCTYPE html>

<html>

<head>

<title>抽屉新热榜-聚合每日热门、搞笑、有趣资讯</title>

        <meta charset="utf-8" />

        <meta name="keywords" content="抽屉新热榜,资讯,段子,图片,公众场合不宜,科技,新闻,节操,搞笑" />

        <meta name="description" content="

            抽屉新热榜，汇聚每日搞笑段子、热门图片、有趣新闻。它将微博、门户、社区、bbs、社交网站等海量内容聚合在一起，通过用户推荐生成最热榜单。看抽屉新热榜，每日热门、有趣资讯尽收眼底。

            " />

        <meta name="robots" content="index,follow" />

        <meta name="GOOGLEBOT" content="index,follow" />

        <meta name="Author" content="搞笑" />

        <meta http-equiv="X-UA-Compatible" content="IE=EmulateIE8">

        <link type="image/x-icon" href="/images/chouti.ico" rel="icon"/>

        <link type="image/x-icon" href="/images/chouti.ico" rel="Shortcut Icon"/>

        <link type="image/x-icon" href="/images/chouti.ico" rel="bookmark"/>

    <link type="application/opensearchdescription+xml"

          href="opensearch.xml" title="抽屉新热榜" rel="search" />

二、需要用户登录或者验证的请求

获取这种页面时，我们首先要了解整个登录过程，一般登录过程是，当用户第一次访问时，会自动在浏览器生成cookie文件，当用户输入登录信息后会携带着生成的cookie文件，如果登录信息正确会给这个cookie

授权，授权后以后访问需要登录的页面时携带授权后cookie即可

1、首先访问一下首页，然后查看是否有自动生成cookie

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie

i1 = requests.get(

    url="http://dig.chouti.com/",

    headers={'Referer': 'http://dig.chouti.com/'}

)

i1.encoding = "utf-8"                               #http请求编码

i1_cookie = i1.cookies.get_dict()

print(i1_cookie)                                    #返回获取到的cookie

#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

可以看到生成了cookie，说明如果登陆信息正确，后台会给这里的cookie授权，以后访问需要登录的页面携带授权后的cookie即可

2、让程序自动去登录授权cookie

首先我们用浏览器访问登录页面，随便乱输入一下登录密码和账号，获取登录页面url，和登录所需要的字段

携带cookie登录授权

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie

i1 = requests.get(

    url="http://dig.chouti.com/",

    headers={'Referer':'http://dig.chouti.com/'}

)

i1.encoding = "utf-8"                               #http请求编码

i1_cookie = i1.cookies.get_dict()

print(i1_cookie)                                    #返回获取到的cookie

#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权

i2 = requests.post(

    url="http://dig.chouti.com/login",              #登录url

    data={                                          #登录字段

        'phone': "",

        'password': "",

        'oneMonth': ""

    },

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=i1_cookie                               #携带cookie

)

i2.encoding = "utf-8"

dluxxi = i2.text

print(dluxxi)                                       #查看登录后服务器的响应

#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

3、登录成功后，说明后台已经给cookie授权，这样我们访问需要登录的页面时，携带这个cookie即可，比如获取个人中心

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie

i1 = requests.get(

    url="http://dig.chouti.com/",

    headers={'Referer':'http://dig.chouti.com/'}

)

i1.encoding = "utf-8"                               #http请求编码

i1_cookie = i1.cookies.get_dict()

print(i1_cookie)                                    #返回获取到的cookie

#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权

i2 = requests.post(

    url="http://dig.chouti.com/login",              #登录url

    data={                                          #登录字段

        'phone': "",

        'password': "",

        'oneMonth': ""

    },

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=i1_cookie                               #携带cookie

)

i2.encoding = "utf-8"

dluxxi = i2.text

print(dluxxi)                                       #查看登录后服务器的响应

#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

### 3、访问需要登录才能查看的页面，携带着授权后的cookie访问

shouquan_cookie = i1_cookie

i3 = requests.get(

    url="http://dig.chouti.com/user/link/saved/1",

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=shouquan_cookie                        #携带着授权后的cookie访问

)

i3.encoding = "utf-8"

print(i3.text)                                     #查看需要登录才能查看的页面

获取需要登录页面的html源码成功

全部代码

get()方法，发送get请求
encoding属性，设置请求编码
cookies.get_dict()获取cookies
post()发送post请求
text获取服务器响应信息

#!/usr/bin/env python

# -*- coding:utf8 -*-

import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie

i1 = requests.get(

    url="http://dig.chouti.com/",

    headers={'Referer':'http://dig.chouti.com/'}

)

i1.encoding = "utf-8"                               #http请求编码

i1_cookie = i1.cookies.get_dict()

print(i1_cookie)                                    #返回获取到的cookie

#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权

i2 = requests.post(

    url="http://dig.chouti.com/login",              #登录url

    data={                                          #登录字段

        'phone': "",

        'password': "",

        'oneMonth': ""

    },

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=i1_cookie                               #携带cookie

)

i2.encoding = "utf-8"

dluxxi = i2.text

print(dluxxi)                                       #查看登录后服务器的响应

#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

### 3、访问需要登录才能查看的页面，携带着授权后的cookie访问

shouquan_cookie = i1_cookie

i3 = requests.get(

    url="http://dig.chouti.com/user/link/saved/1",

    headers={'Referer':'http://dig.chouti.com/'},

    cookies=shouquan_cookie                        #携带着授权后的cookie访问

)

i3.encoding = "utf-8"

print(i3.text)                                     #查看需要登录才能查看的页面

注意：如果登录需要验证码，那就需要做图像处理，根据验证码图片，识别出验证码，将验证码写入登录字段

第三百二十二节，web爬虫，requests请求的更多相关文章

  1. 第三百二十四节，web爬虫，scrapy模块介绍与使用

    第三百二十四节,web爬虫,scrapy模块介绍与使用 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中.其最初是为了 ...

  2. 第三百二十九节，web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用

    第三百二十九节,web爬虫讲解2—urllib库爬虫—ip代理 使用IP代理 ProxyHandler()格式化IP,第一个参数,请求目标可能是http或者https,对应设置build_opener ...

  3. 第三百二十八节，web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理

    第三百二十八节,web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术.设置用户代理 如果爬虫没有异常处理,那么爬行中一旦出现错误,程序将崩溃停止工作,有异常处理即使出现错误也能继续执 ...

  4. 第三百二十七节，web爬虫讲解2—urllib库爬虫—基础使用—超时设置—自动模拟http请求

    第三百二十七节,web爬虫讲解2—urllib库爬虫 利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码read()读出html源码内容decode(& ...

  5. 第三百二十六节，web爬虫，scrapy模块,解决重复ur——自动递归url

    第三百二十六节,web爬虫,scrapy模块,解决重复url——自动递归url 一般抓取过的url不重复抓取,那么就需要记录url,判断当前URL如果在记录里说明已经抓取过了,如果不存在说明没抓取过 ...

  6. 第三百二十五节，web爬虫，scrapy模块标签选择器下载图片，以及正则匹配标签

    第三百二十五节,web爬虫,scrapy模块标签选择器下载图片,以及正则匹配标签 标签选择器对象 HtmlXPathSelector()创建标签选择器对象,参数接收response回调的html对象需 ...

  7. 第三百二十三节，web爬虫，scrapy模块以及相关依赖模块安装

    第三百二十三节,web爬虫,scrapy模块以及相关依赖模块安装 当前环境python3.5 ,windows10系统 Linux系统安装 在线安装,会自动安装scrapy模块以及相关依赖模块 pip ...

  8. 第三百七十二节，Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目

    第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目 scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目 下载地址:h ...

  9. 第三百三十一节，web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令

    第三百三十一节,web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令 Scrapy框架安装 1.首先,终端执行命令升级pip: python -m pip install --u ...

随机推荐

  1. jsack

    https://docs.oracle.com/javase/8/docs/technotes/guides/troubleshoot/tooldescr016.html#BABGHEJB

  2. Tomcat 安装为服务后台自动启用

    1.首先设置环境变量 2.Java_home 3.path 4.在运行输入cmd命令后 输入tomcat所安装的路径文件中的service.bat直接拖进来即可 此时要注意 如果服务器用户没有管理员权 ...

  3. （原创）如何使用boost.asio写一个简单的通信程序（二）

    先说下上一篇文章中提到的保持io_service::run不退出的简单办法.因为只要异步事件队列中有事件,io_service::run就会一直阻塞不退出,所以只要保证异步事件队列中一直有事件就行了, ...

  4. 每日英语：What You Like Best: Shopping, Food and Tech

    In a year that featured one of history's biggest corporate buyouts, a stock-market surge reminiscent ...

  5. RAID常见问题集锦+底部案例

    磁盘阵列(Redundant Arrays of Inexpensive Disks,RAID),有“价格便宜具有冗余能力的磁盘阵列”之意.原理是利用数组方式来作磁盘组,配合数据分散排列的设计,提升数 ...

  6. WCF 服务应用程序与 服务库之间的区别

    简单理解, WCF服务库,可以认为是一个包含WCF服务以及契约定义的类库.这儿库还不能直接运行,你可以在其他项目里引用,在宿主里启用托管这个库. 而WCF应用程序,是一个可以执行的程序,它有独立的进程 ...

  7. asp.net基于StateServer的二级域名共享session

    备注:亲自试验有效,如果网友有通过下面的教程未实现session共享的,欢迎留言说明你遇到的问题.必有回复. 最近为实现的二级域名共享session纠结好久.网上的很多实现的方法试了都不行,查了很久才 ...

  8. RecyclerView 输出的和排版的不一样

    遇到过这样一种情况,就是RecyclerView加载出来的和看到Android Studio里的不一样 原因是: @Override public ViewHolder onCreateViewHol ...

  9. quartz定时任务框架的使用以及原理

    quartz定时任务时间设置 这些星号由左到右按顺序代表 :     *    *     *     *    *     *   *                                 ...

  10. python re 库的使用

    python re 库是关于正则表达式的一个库.这里面包含了多种字符串匹配的方法 使用例程 # -*- coding: utf-8 -*- import re # search 的作用是 查找后面字符 ...