请求库urllib和urllib3

# coding=utf-8

# urllib
"""
使用python的urllib库去模拟浏览器请求网页，常用内容如下：

urllib.request  发送HTTP请求
urllib.error    处理请求过程中出现的异常
urllib.parse    处理url
urllib.robotparser  解析robots.txt

"""

# 处理ssl异常
# import ssl
# ssl._create_default_https_context = ssl._create_unverified_context

# 1.使用urllib.request请求网页
# import urllib.request

# url = "https://www.jianshu.com"
# data = urllib.request.urlopen(url)  # 请求url这个网页，返回值类型为对象
# print(data.read().decode())  # 打印网页源代码，默认为bytes类型，decode()后解码为utf-8

# print(data.geturl())  # 打印请求地址
# print(data.getcode()) # 返回请求结果的状态码 200表示请求正常
# print(data.info()) 返回请求url时的headers相关信息

# 2.模拟浏览器访问  添加headers头信息

'''
代码访问网页和电脑访问时传递的headers内容不同，
因此将headers修改为电脑访问网址时的headers,
就可以将代码伪装成浏览器来访问网页。
'''
# import urllib.request

# url = "https://www.jianshu.com"
#
# # headers类型是字典，尽量使用关键字参数传参
# headers = {
#     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
# }

# 在请求中添加已伪装好的headers
'''
urllib.request.Request接受一个data（字典类型）的参数，
当没有传data参数时，默认为get请求
需要post请求时，传一个data参数，会自动识别为post请求
data = {'a':1}
data = urllib.parse.urlencode(data).encode() # 编码为bytes类型
request = urllib.request.Request(url,data=data,headers=headers)  #实例
'''
# request = urllib.request.Request(url, headers=headers)
#
# # 访问网站
# urllib.request.urlopen(request)

# 3.cookie的使用，分三个步骤
"""
部分网站需药cookies信息才能登陆，urllib中提供携带cookie信息的请求
分三个步骤：
    创建cookieJar对象
    创建cookie处理器
    安装处理器
"""
# import urllib.request
# import http.cookiejar
#
# url = "https://www.jianshu.com"
# 1.创建cookieJar对象
# cookie_jar = http.cookiejar.CookieJar()

# 2.使用HTTPCookieProcessor创建cookie处理器，并以它为参数创建opener对象
# opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie_jar))
#
# 3.把opener变成urlopen
# urllib.request.install_opener(opener)

# 此时发起的请求就已经携带了cookie信息
# data = urllib.request.urlopen(url)
# print(cookie_jar)

# 4.设置代理  请求别人的网站
"""
一般网站可能存在反爬虫机制，最基础的反爬就是检测IP，
如果一个IP频繁出现，可能就会被识别为爬虫
因此，使用代理（就是利用别人的IP+端口）伪装自己的IP地址
分为三个步骤：
    创建代理处理器
    创建opener对象
    安装处理器
"""
# import urllib.request

# url = "http://httpbin.org/ip"  # 用于测试ip地址的网站

# 使用代理时，将代理处理为一下格式
# proxy = {'http': '115.193.96.143:9000', 'https': '115.193.96.143:9000'}

# 1.创建代理处理器
# proxies = urllib.request.ProxyHandler(proxy)

# 2.创建opener对象
# opener = urllib.request.build_opener(proxies, urllib.request.HTTPHandler)

# 3.安装
# urllib.request.install_opener(opener)

# 此时，发起的请求就不是自己的ip地址，而是一个匿名的代理IP
# data = urllib.request.urlopen(url)
# print(data.read().decode())

# 5.异常处理urllib.error   URLError(父类) HTTPError
"""
用于处理请求时发生的一些异常，常用的URLError和HTTPError
URLError用于处理请求地址或服务器不存在的情况
HTTPError用于服务器存在但是页面不存在的情况
"""
import  urllib.error
import urllib.request

# url = "http://www.1844hhjhhlkxxx.com"
# try:
#     urllib.request.urlopen(url)
# except urllib.error.URLError as e:
#     print(e.reason)  # 打印异常原因

# url = 'https://jianshu.com/p/sddfsdf'
# try:
#     urllib.request.urlopen(url)
# except urllib.error.URLError as e:
#     # 判断是否有code属性，如果有code属性说明是HTTPError
#     if hasattr(e, "code"):
#         print("HTTPError")
#     # 判断是否有reason属性，如果有reason属性说明是URLError
#     elif hasattr(e, "reason"):
#         print("URLError")

# 5.urllib.parse 解析url
"""
对请求的url进行一定的处理
"""
import urllib.parse

# urllib.parse.urljoin()       # 拼接字符串，对url进行一定的拼接
# urllib.parse.urlencode()     # 将字典转化为转字符串
# urllib.parse.urlquote()      # url解码
# urllib.parse.urlunquote()    # url编码

# 请求地址中含有中文时，需要将其编码为ascii格式
# url = 'http://www.baidu.com/s?wd={}'.format(urllib.parse.urlunqote('爬虫'))

# data = {'a': 1, 'b': 2}
# print(urllib.parse.encode(data))
#
# print(urllib.parse.urljoin('http://www.baidu.com/', 's?wd='))

# 6.urllib3请求库

# import urllib3
# http = urllib3.PoolManager()

# 发送请求，参数为请求方法和请求地址
# r = http.request("GET", 'https://www.jianshu.com', redirect=False)  # 关闭重定向