爬虫与request模块

一、爬虫简介

1、介绍

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

实际上就是一段自动抓取互联网信息的程序，它会从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止，然后把数据解析成对我们有价值的信息。

2、爬虫的价值

互联网中最有价值的便是数据，比如天猫、京东、淘宝等电商网站超越咨询顾问的算力，在用户理解和维护，抓取各大电商的评论及销量数据，对各种商品（颗粒度可到款式）沿时间序列的销量以及用户的消费场景进行分析，
又或者58同城的房产、安居客、Q房网、搜房等房产网站下半年深圳房价将如何发展 ，抓取房产买卖及租售信息，对热热闹闹的房价问题进行分析。

大众点评、美团网等餐饮及消费类网站黄焖鸡米饭是怎么火起来的？抓取各种店面的开业情况以及用户消费和评价，了解周边变化的口味，所谓是“舌尖上的爬虫”。以及各种变化的口味，比如：啤酒在衰退，重庆小面在崛起。

拉勾网、中华英才网等招聘网站互联网行业哪个职位比较有前途？抓取各类职位信息，分析最热门的职位以及薪水。

这些数据都代表了各个行业的重点方向，可以说，谁掌握了行业内的第一手数据，谁就拥有比别人更大的机会成为主宰。

3、robots.txt协议

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

robots.txt 是网站和搜索引擎的协议的纯文本文件。当一个搜索引擎蜘蛛来访问站点时，它首先爬行来检查该站点根目录下是否存在robots.txt，如果存在，根据文件内容来确定访问范围，如果没有，蜘蛛就沿着链接抓取。robots.txt 放在项目的根目录下。

但值得注意的是，该协议只是相当于口头的协议，并没有使用相关技术进行强制管制，如果你不想遵守，有这个协议也没用的，
为了防止被爬，只能在自己的网站上进行相关的反爬技术。

4、爬虫的基本流程

5、http协议

https://www.cnblogs.com/Zzbj/p/9844520.html

二、requests模块

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。
requests本质就是封装了urllib3，requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。

1、requests模块支持的请求

import requests
requests.get("http://httpbin.org/get")
requests.post("http://httpbin.org/post")
requests.put("http://httpbin.org/put")
requests.delete("http://httpbin.org/delete")
requests.head("http://httpbin.org/get")
requests.options("http://httpbin.org/get")　

2、get请求

1. 基本请求
import requests
response = requests.get('https://www.jd.com/')  # 发送一个get请求

with open("jd.html", "wb") as f:
    f.write(response.content)  # 把响应体(response.content)保存到一个文件中

2. 含参数请求
import requests
# 通过params给请求添加参数
response = requests.get(
    'https://s.taobao.com/search',
    params={
        "q": "手机",
    })

with open("shouji.html", "w", encoding="utf8") as f:
    f.write(response.text)  # 把响应体保存到一个文件中(w模式用text，wb模式用content)

3. 含请求头请求
import requests
response = requests.get(
    'https://dig.chouti.com/',
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36',
    })

with open("ct.html", "wb") as f:
    f.write(response.content)  # 把响应体(response.content)保存到一个文件中

通过headers给请求添加请求头，有些网站为了反爬会设置一些"障碍"，如果你User-Agent这个请求头为空，他们就认为你是机器人，
就不接受你的请求，简单地实现反爬。

4. 含cookies请求
import uuid
import requests

url = 'http://httpbin.org/cookies'
cookies = dict(sbid=str(uuid.uuid4()))

response = requests.get(url, cookies=cookies)
print(response.text)

5. requests.session()
import requests

res = requests.get("https://github.com/login")  # 请求登录页面
print(res.cookies.get_dict())  # 获取到服务器传过来的cookies
res = requests.post("https://github.com/session", cookies=res.cookies.get_dict())  # 爬取需要登录的页面，带上cookies

session = requests.session()  # 使用requests.session()方法
# 下面在使用requests的地方，直接使用session即可，session就会保存服务器发送过来的cookie信息
res2 = session.get("https://github.com/login")
print(session.cookies.get_dict())
# 这里用了session后，不需要再提交cookies，默认已经带着cookies了，等同于上面的requests.post带上cookies
res3 = session.post("https://github.com/session")

3、post请求

. data参数
requests.post()用法与requests.get()完全一致，不同的是requests.post()多了一个data参数，用来存放请求体数据,
请求体数据使用data，没有指定请求头,默认的请求头的contentType=application/x-www-form-urlencoed

import requests
response = requests.post(
    "http://httpbin.org/post",
    params={
        "pag": 1
    },
    data={
        "user": "zzz",
        "pwd": ''
    })

print(response.text)

2. 发送json数据
import requests
response = requests.post(
    "http://httpbin.org/post",
    params={
        "pag": 1
    },
    json={
        "user": "zzz",
        "pwd": ''
    })

print(response.text)

请求体数据指定时使用json，请求头的contentType=application/json

. urlencoed和json格式的区别
urlencoed是浏览器默认的格式，格式是：
a=1&b=2

json的格式是：
xxx = {
    "a" = "",
    "b" = ""
}

4、response对象

1. 常用属性

import requests

response = requests.get('https://sh.lianjia.com')
# response属性
print(response.text)                 # 获取响应的内容(字符串)
print(response.content)                 # 获取响应的内容(字节)
print(response.status_code)             # 获取响应的状态码
print(response.headers)                 # 获取响应头的信息
print(response.cookies)                 # 获取服务器传过来的cookies
print(response.cookies.get_dict())   # 把cookies转换成字典格式
print(response.cookies.items())      # 跟字典的items方法一样
print(response.url)                  # 获取请求的url
print(response.history)                 # 获取请求的重定向历史
print(response.encoding)             # 获取响应的编码

2.response.text和response.content

response.text拿到的是响应的字符串
response.content拿到的是响应的字节串

text(字符串)就是把content(字节)默认用utf8给解码了而已，但是如果爬到的内容编码模式不是utf8，那么用text拿到的内容就会有乱码了。

3. 编码问题

方法一：指定响应的编码
import requests

response = requests.get('http://www.autohome.com/news')
response.encoding = 'gbk'  # 汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码
with open("qczj.html", "w") as f:
    f.write(response.text)  # 把解码后的文本写入文件中

方法二：直接使用wb模式写入
import requests

response = requests.get('http://www.autohome.com/news')
with open("qczj2.html", "wb") as f:
    f.write(response.content)  # 以字节形式写入文件中

4. history重定向

默认情况下，除了HEAD, Requests会自动处理所有重定向。可以使用响应对象的 history 方法来追踪重定向。
Response.history 是一个 Response 对象的列表，为了完成请求而创建了这些对象。这个对象列表按照从最老到最近的请求进行排序。

import requests

response = requests.get("https://www.autohome.com.cn/huizhou/")
print(response.status_code)  #
print(response.history)  # 没有重定向为空列表：[]

# allow_redirects默认为True，当网站是https协议，而你输入了http协议，就会自动重定向到https
# 把allow_redirects设置了False，请求http，可以看到response响应就是重定向
response = requests.get("http://www.autohome.com.cn/huizhou/", allow_redirects=False)
print(response.status_code)  #
print(response)  # 重定向的对象：<Response [302]>

# 也可以让allow_redirects为True,查看响应体的history，看是否有重定向
response = requests.get("http://www.autohome.com.cn/huizhou/", allow_redirects=True)
print(response.status_code)  #
print(response.history)  # [<Response [302]>]

5. 下载二进制文件

import requests

response = requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1548171900434&di=04e4eb6ee17c081556947ebb1ceb161e&imgtype=0&src=http%3A%2F%2Fhbimg.b0.upaiyun.com%2F039e4e47e1a2a53f305a83a367b511570b8e96771d98d-wWPJMp_fw658')
with open("wuming.png","wb") as f:
    # f.write(response.content) # 如果下载的是视频，而且有100G,用response.content会把内容一下全部写到文件中，是不合理的
    for line in response.iter_content():  # response.iter_content()方法是把响应内容转换成迭代器
        f.write(line)

6.解析json数据

import requests
import json

response = requests.get('http://httpbin.org/get')
res1 = json.loads(response.text)  # 太麻烦
res2 = response.json()  # 直接获取json数据

7. 代理

一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，
它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。

import requests

proxies = {
    "http": "http://117.70.39.242:9999",
}

response = requests.get("http://httpbin.org/ip",proxies=proxies)
print(response.text)

三、爬虫案例

1、爬取豆瓣top250

import requests
import re
import json
import time
from concurrent.futures import ThreadPoolExecutor
pool = ThreadPoolExecutor(5)  # 线程池

# 获取豆瓣top250所有电影的名称，url，评分，评论数

# 1.发送请求，获取响应
def getPage(url):
    response = requests.get(url)
    return response.text

# 2.解析数据
def parsePage(res):
    com = re.compile('<div class="item">.*?<a href="(?P<url>.*?)">.*?<span class="title">(?P<title>.*?)</span>.*?<span class="rating_num".*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)人评价</span>',re.S)
    iter_result = com.finditer(res)
    return iter_result

# 3. 存储数据
def stored(iter_result):
    # 存储文件中
    movie_info = {}
    for i in iter_result:
        print("OK")
        print(i.group("url"))
        print(i.group("title"))
        print(i.group("rating_num"))
        print(i.group("comment_num"))

        movie_info["url"] = i.group("url")
        movie_info["title"] = i.group("title")
        movie_info["rating_num"] = i.group("rating_num")
        movie_info["comment_num"] = i.group("comment_num")

        with open("doubanTop250.txt", 'a', encoding="utf8") as f:
            f.write(json.dumps(movie_info, ensure_ascii=False)+"\n")

def spider_movie(url):
    res = getPage(url)
    iter_result = parsePage(res)
    stored(iter_result)

def main():
    for i in range(10):
        url = "https://movie.douban.com/top250?start=%s&filter=" % (i*25)
        pool.submit(spider_movie, url)

if __name__ == '__main__':
    start = time.time()
    main()
    end = time.time()
    print("cost time：", end - start)

1. 常规方法

import requests
import re
import json
import time
from concurrent.futures import ThreadPoolExecutor
pool = ThreadPoolExecutor(5)  # 线程池

# 获取豆瓣top250所有电影的名称，url，评分，评论数

# 1.发送请求，获取响应
def getPage(url):
    response = requests.get(url)
    return response.text

# 2.解析数据
def parsePage(res):
    com = re.compile('<div class="item">.*?<a href="(?P<url>.*?)">.*?<span class="title">(?P<title>.*?)</span>.*?<span class="rating_num".*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)人评价</span>',re.S)
    iter_result = com.finditer(res)
    return iter_result

# 使用生成器处理数据
def movieInfo(iter_result):
    for i in iter_result:
        yield {
            "url": i.group("url"),
            "title": i.group("title"),
            "rating_num": i.group("rating_num"),
            "comment_num": i.group("comment_num"),
        }

# 3. 存储数据
def stored(info):
    with open("doubanTop250.txt", 'a', encoding="utf8") as f:
        for i in info:
            data = json.dumps(i, ensure_ascii=False)
            f.write(data+"\n")

def spider_movie(url):
    res = getPage(url)
    iter_result = parsePage(res)
    info = movieInfo(iter_result)
    stored(info)

def main():
    for i in range(10):
        url = "https://movie.douban.com/top250?start=%s&filter=" % (i*25)
        pool.submit(spider_movie, url)

if __name__ == '__main__':
    start = time.time()
    main()
    end = time.time()
    print("cost time：", end - start)

2.使用生成器(当数据很多的时候)

2、爬取GitHub登录后的home页面

'''
github的反爬策略是，必须带登录界面github给你的authenticity_token
必须带cookies
必须带上登录的数据
'''
import requests
import re

# 第一步： 请求登录页面，获取token，以便通过post请求校验
session = requests.session()  # 用requests.session保存cookies，下面post请求就不需要再指定cookies了
res = session.get("https://github.com/login")

# res = requests.get("https://github.com/login")
# cookies = res.cookies.get_dict()

authenticity_token = re.findall('name="authenticity_token" value="(.*?)"', res.text)[0]
print(authenticity_token)

# 第二步：构建post请求数据
data = {
    "commit": "Sign in",
    "utf8": "✓",
    "authenticity_token": authenticity_token,
    "login": "your name",  # 你github的账号
    "password": "your password"  # 你github的密码
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36',
}

# 如果没有使用requests.session,需要带上cookies=cookies
# res = requests.post("https://github.com/session", data=data, headers=headers, cookies=cookies)
res = session.post("https://github.com/session", data=data, headers=headers)

with open("github.html", "wb") as f:
    f.write(res.content)