python3网络爬虫系统学习：第二讲 基本库requests（一）

　　之前，我们学习了基本库urllib的相关用法，但是在网页验证、Cookies处理等方面是比较繁琐的，需要用到Handler并且还需自己构建Opener。requests库的出现很好的解决了这个问题，下面让我们学习一下有关requests的操作。

　　requests的安装可以直接使用pip install requests安装

　　此处，小编建议重新安装pip，这样可以在任何目录使用pip，而不需要切换到pip所在目录下才可以使用，重装命令如下：

　　　　python -m pip install --upgrade pip --force-reinstall

　　接下来，进入正式学习

　　一、基本用法

　　1.GET请求

　　GET请求的API如下：

requests.get(url,params=None,**kwargs)

　　参数详解：

　　url：请求链接，必填项

　　params：请求参数（requests接受的可选参数之一，在GET请求中较为常用）

　　**kwargs：requests接受的可选参数，有params、data、json、headers、cookies、files、auth、timeout、allow_redirects、proxies、verify、stream以及cert。文章末尾小编总结了可选参数含义和用法。

　　实例应用：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:66.0) Gecko/20100101 Firefox/66.0'}

data = {
    'name': 'germey'
    'age': 22}

# 读取网页
url = 'http://httpbin.org/get'
r = requests.get(url, params = params,headers = headers)
print(r.text)

# 读取图片/音频/视频等本质上是二进制的文件
url = 'https://github.com/favicon.ico'
r = requests.get(url, headers = headers)
print(r.content)   #r.content返回bytes类型数据
# 图片保存
with open('f.ico', 'wb') as f:
    f.write(r.content)

　　

　　2.POST请求

　　POST请求API如下：

requests.post(url, data=None, json=None, **kwargs)

　　参数详解：

　　url：必填项，访问地址

　　data：提交的表单数据，常用类型为dict或者str

　　json：提交表单数据的另一种方式，常用类型为dict或者str

　　**kwargs：requests接受的可选参数

　　

　　小编简单的说一下data参数和json参数的区别：

　　　　1、不管json是str还是dict，如果不指定headers中的content-type，默认为application/json

　　　　2、data为dict时，如果不指定content-type，默认为application/x-www-form-urlencoded，相当于普通form表单提交的形式

　　　　3、data为str时，如果不指定content-type，默认为application/json

　　　　4、用data参数提交数据时，request.body的内容则为a=1&b=2的这种形式，用json参数提交数据时，request.body的内容则为'{"a": 1, "b": 2}'的这种形式

　　常见的form表单可以直接使用data参数进行报文提交，而data的对象则是python中的字典类型；而在最新爬虫的过程中遇到了一种payload报文，是一种json格式的报文，因此传入的报文对象也应该是格式的。

　　应用实例：

import requests

data = {
    'name': 'germey',
    'age': 22}
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:66.0) Gecko/20100101 Firefox/66.0'}

r = requests.post(url, headers=headers, data=data)
print(r.text)

　　3.响应

　　在上面的实例中，通过使用text和content获取了响应内容。此外，还有很多方法和属性可以获得响应的其他信息。

　　　　status_code——响应状态码

　　　　headers——响应头

　　　　cookies——响应Cookies

　　　　url——响应网址

　　　　history——请求历史

　　4.requests内置状态码对象requests.codes

　　例如，requests.codes.ok得到状态码200

　　各状态码对应信息如下：

    # Informational.
    100: ('continue',),
    101: ('switching_protocols',),
    102: ('processing',),
    103: ('checkpoint',),
    122: ('uri_too_long', 'request_uri_too_long'),
    200: ('ok', 'okay', 'all_ok', 'all_okay', 'all_good', '\\o/', '✓'),
    201: ('created',),
    202: ('accepted',),
    203: ('non_authoritative_info', 'non_authoritative_information'),
    204: ('no_content',),
    205: ('reset_content', 'reset'),
    206: ('partial_content', 'partial'),
    207: ('multi_status', 'multiple_status', 'multi_stati', 'multiple_stati'),
    208: ('already_reported',),
    226: ('im_used',),

    # Redirection.
    300: ('multiple_choices',),
    301: ('moved_permanently', 'moved', '\\o-'),
    302: ('found',),
    303: ('see_other', 'other'),
    304: ('not_modified',),
    305: ('use_proxy',),
    306: ('switch_proxy',),
    307: ('temporary_redirect', 'temporary_moved', 'temporary'),
    308: ('permanent_redirect',
          'resume_incomplete', 'resume',),  # These 2 to be removed in 3.0

    # Client Error.
    400: ('bad_request', 'bad'),
    401: ('unauthorized',),
    402: ('payment_required', 'payment'),
    403: ('forbidden',),
    404: ('not_found', '-o-'),
    405: ('method_not_allowed', 'not_allowed'),
    406: ('not_acceptable',),
    407: ('proxy_authentication_required', 'proxy_auth', 'proxy_authentication'),
    408: ('request_timeout', 'timeout'),
    409: ('conflict',),
    410: ('gone',),
    411: ('length_required',),
    412: ('precondition_failed', 'precondition'),
    413: ('request_entity_too_large',),
    414: ('request_uri_too_large',),
    415: ('unsupported_media_type', 'unsupported_media', 'media_type'),
    416: ('requested_range_not_satisfiable', 'requested_range', 'range_not_satisfiable'),
    417: ('expectation_failed',),
    418: ('im_a_teapot', 'teapot', 'i_am_a_teapot'),
    421: ('misdirected_request',),
    422: ('unprocessable_entity', 'unprocessable'),
    423: ('locked',),
    424: ('failed_dependency', 'dependency'),
    425: ('unordered_collection', 'unordered'),
    426: ('upgrade_required', 'upgrade'),
    428: ('precondition_required', 'precondition'),
    429: ('too_many_requests', 'too_many'),
    431: ('header_fields_too_large', 'fields_too_large'),
    444: ('no_response', 'none'),
    449: ('retry_with', 'retry'),
    450: ('blocked_by_windows_parental_controls', 'parental_controls'),
    451: ('unavailable_for_legal_reasons', 'legal_reasons'),
    499: ('client_closed_request',),

    # Server Error.
    500: ('internal_server_error', 'server_error', '/o\\', '✗'),
    501: ('not_implemented',),
    502: ('bad_gateway',),
    503: ('service_unavailable', 'unavailable'),
    504: ('gateway_timeout',),
    505: ('http_version_not_supported', 'http_version'),
    506: ('variant_also_negotiates',),
    507: ('insufficient_storage',),
    509: ('bandwidth_limit_exceeded', 'bandwidth'),
    510: ('not_extended',),
    511: ('network_authentication_required', 'network_auth', 'network_authentication')

　　　常见错误代码以及错误原因如下：

　　下面小编介绍一下这些可选参数分别是什么及其其用法：

　　params：请求参数（在url中显现的），其值可以是字典、列表或者元组

　　data：发送信息，主要用于POST请求中发送登录表单信息，其值通常为字典、列表或者元组，也可以是字节或者文件对象

　　json：发送的JSON序列化数据，值当然为JSON格式

　　headers：请求头，其值为字典数据

　　cookies：值为字典或者CookieJar对象

　　files：上传到服务器的文件。值为{'name': file-tuple}的字典以及('filename', fileobj)、('filename', fileobj, 'content_type')或('filename', fileobj, 'content_type', custom_headers)的元组数据。fileobj为文本读取数据，值为open(filename,mode)或者其他文本读取方式；content_type定义给定文件内容类型的字符串；custom_header是dict对象，包含要为文件添加的附加头。

　　auth：授权元组

　　timeout：超时设置，其值可以是数值对象也可以是二维元组对象

　　allow_redirects：重定向设置，默认值为True

　　proxies：代理设置，其值为{‘协议名’，url}格式的字典

　　verify：证书认证，其值为bool型，默认为True

　　stream：如果“False”，则立即下载响应内容。默认为True

　　cert：添加证书文件，其值可以是String或者tuple。若为string，则为路径字符串；若为tuple，则为证书数据，构成样式为(cert,key)

　　小编推一下自己新建的公众号，公众号内容更新快，每天定时更新，内容量适中，便于浏览和记忆