requests库（爬虫）

北京理工大学嵩天老师的课程：http://www.icourse163.org/course/BIT-1001870001

官方文档：http://docs.python-requests.org/en/master/

中文文档：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

安装

pip install requests

Requests库的七个主要方法

get方法

r = requests.get(url)

右边构造一个向服务器请求资源的Requests对象,左边返回一个包含服务器资源的Response对象给r，完整参数:

r = requests.get(url,params=None,**kwargs)

如果我们打开requests库get方法源代码，我们可以看到get方法实际上使用了request方法来封装，requests库的其他方法也都是通过调用request方法来封装的：

def get(url, params=None, **kwargs):
    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)　　

Resonse对象的属性

r.encoding:如果header中不存在charset字段，默认编码为ISO-8859-1，此时的编码输出r.text中的中文将是乱码。

r.apparent_encoding:会根据HTTP网页的内容分析出应该使用的编码。

>>> r.encoding
'ISO-8859-1'
>>> r.apparent_encoding
'utf-8'

解决中文乱码方法修改r.encoding值：

>>> r.encoding=r.apparent_encoding

爬取网页的通用代码框架

Requests库爬取网页时可能会遇到的异常

使用r.raise_for_status()方法构建通用代码框架：

import requests

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == '__main__':
    url = 'https://www.baidu.com/'
    print(getHTMLText(url))

HTTP协议及request方法

HTTP(Hypertext Transfer Protocol,超文本传输协议)是一个基于"请求与响应"模式的/无状态的应用层协议。

URL是通过HTTP协议存取资源的Internet路径。

HTTP协议对资源的操作:

request方法

requests.request(method,url,**kwargs)

详情参参考官方文档：http://docs.python-requests.org/en/master/api/

这是中文的文档：http://docs.python-requests.org/zh_CN/latest/api.html

method(请求方式7个)包括:
GET、HEAD、POST、PUT、PATCH、delete、OPTIONS

**kwargs(控制访问参数13个，均为可选)包括:
params、data、json/headers、cookies、auth、files、timeout/proxies、allow_redirects、stream、verify、cert

params：字典或字节序列，作为参数增加到url中：

>>> import requests
>>> kv={"k1":"v1","k2":"v2"}
>>> r=requests.request('GET','https://www.baidu.com/',params=kv)
>>> r.url
'https://www.baidu.com/?k1=v1&k2=v2'

data:字典、字节序列或文件对象，作为Request的内容

json：JSON格式的数据，作为Request的内容

headers:字典，HTTP定制头

cookies：字典或CookieJar,Request中的cookie

auth:元祖，支持HTTP认证功能

files:字典，传输文件

>>> fs={'file':open('data.xls','rb')}
>>> r=requests.request('POST','https://www.baidu.com/',files=fs)

timeout:设定的超时时间，以秒为单位。超时时间内没有返回结果则抛出超时的异常

>>> r=requests.request('GET','https://www.baidu.com/',timeout=10)

proxies:字典类型，设定访问代理服务器，可以增加的登陆认证，有效隐藏用户爬取网站的源IP地址信息。

>>> r=requests.request('GET','https://www.baidu.com/',timeout=10)
>>> pxs={'http':'http://user:pass@10.10.10.1:1234',
...      'http':'https://10.10.10.1:4321'}
>>> r=requests.request('GET','https://www.baidu.com/',proxies=pxs)

allow_redirects：True/Flase,默认为True,重定向开关

stream:True/Flase,默认为True,获取内容立即下载开关

verify:True/Flase,默认为True,认证SSL证书开关

cert:本地SSL证书路径

除了reques之外的其他六个主要方法

requests.get(url, params=None, **kwargs)
requests.head(url, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.delete(url, **kwargs)

除了url其他的参数与访问控制参数就是跟方法request中的一样。

网络爬虫爬亦有道之策略与限制

网路爬虫的规模

网络爬虫的限制

限制原因:

• 网络爬虫可能会给Web服务器带来巨大的资源开销
• 网络爬虫获取数据后可能会带来法律风险
• 网络爬虫可能会造成隐私泄露

限制方法:

1.来源审查：判断User-Agent进行限制。

审查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问。

2.发布公告：Robots协议。

告知所有爬虫网站的爬虫策略，要求爬虫遵守。

 Robots协议

Robots Exclusion Standard 网络爬虫排除标准

作用：告知网络爬虫哪些可抓取哪些不行。

形式：网站的根目录下的robots.txt文件。

以京东的为例：

https://www.jd.com/robots.txt

User-agent: *
Disallow: /?*
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User-agent: EtaoSpider
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /

User-agent: * ：表示无论什么爬虫都应该遵守如下协议

Disallow：表示不允许爬取符合后面的通配符表示的路径

其余四个User-agent不允许爬取任何资源，被京东认为是恶意爬虫。

Rebots协议的使用

网络爬虫：自动或人工识别rebots.txt，再进行内容爬取。

约束性：建议但非约束性，网络爬虫可以不遵守，但是存在法律风险。

遵守原则：

爬取实例

京东商品页面的爬取

import requests

url = "http://item.jd.com/2967929.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

亚马逊商品页面的爬取

按实例1的步骤去做发现出现了错误:

发现是由于亚马逊有自身的头部审查,故我们模拟浏览器访问:

import requests
url = "http://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
    kv = {'user-agent':'Mozilla/5.0'}
    r= requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")

百度/360搜索关键词提交

首先我们需要知道搜索关键词的提交接口:

百度:http://www.baidu.com/s?wd=keyword
360:http://www.so.com/s?q=keyword

接下来我们可以利用params参数将关键词加入,代码如下:

import requests

keyword = "Python"
try:
    kv = {'wd': keyword}
    r = requests.get("http://www.baidu.com/s", params=kv)
    print(r.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

网络图片的爬取和存储

网络图片链接的格式：https://pic.cnblogs.com/avatar/1054809/20171230220706.png

import requests
import os

url = "https://pic.cnblogs.com/avatar/1054809/20171230220706.png"
root = "D://pics//"
path = root + url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path, 'wb') as f:
            f.write(r.content)
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("爬取失败")

IP地址归属地的查询

我们python没有这样的库，但是网上有这样的资源，一个网站http://www.ip38.com/有这样的功能

import requests

url = "http://m.ip138.com/ip.asp?ip="
try:
    r = requests.get(url + '202.204.80.112')
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])
except:
    print("爬取失败")

爬取页面图片

import requests
import os
import re
from bs4 import BeautifulSoup

def getHTMLText(url):
    r = requests.get(url)
    html = r.text
    return html

def getImgURL(html):
    soup = BeautifulSoup(html, 'html.parser')
    imgs = soup.find_all('img')
    li = []
    for img in imgs:
        src = img.attrs['src']
        li.append(src)
    return li

def getImg(urls):
    for url in urls:
        root = "D://images//"
        path = root + url.split('/')[-1]
        try:
            if not os.path.exists(root):
                os.mkdir(root)
            if not os.path.exists(path):
                r = requests.get(url)
                with open(path, 'wb') as f:
                    f.write(r.content)
                    f.close()
                    print("文件保存成功")
            else:
                print("文件已存在")
        except:
            print("爬取失败")

def main():
    url = 'http://www.feizl.com/html/65323.htm'  # 带爬取网页URL
    html = getHTMLText(url)
    urls = getImgURL(html)
    getImg(urls)

if __name__ == '__main__':
    main()