python 3 Urllib 数据抓取

1.0 Urllib简介

---

　　Urllib是python自带的标准库，无需安装，直接引用即可。urllib通常用于爬虫开发，API(应用程序编程接口)数据获取和测试。在python2和python3中，urllib在不同版本中的语法有明显的改变。

　　Python2分为urllib和urllib2，urllib2可以接收一个request对象，并以此来放置一个URL的Headers，但是urllib只接收一个URL，意味着不能伪装用户代理字符串等。urllib模块可以提供进行Urlencode的方法，该方法用于GET查询字符串的生成，urllib2不具有这样的功能。这也是urllib与　　urllib2经常在一起使用的原因。

　　由于urllib在不用的python版本上有明显的区别，在实际开发中也遇到一些尴尬的情况，其中最为主要的是版本之间的不兼容所带来的问题。

　　在python3中，urllib是一个收集几个模块来使用URL的软件包，大致具备以下功能：

• urllib.request：用于打开和读取URL。

• urllib.error：包含提出的例外urllib.request。

• urllib.parse：用于解析URL。

• urllib.robotparser：用于解析robots.txt文件。

1.1 发送请求

---

　　urllib.request.urlopen 的语法如下

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capth=None, cadefault=False, context=None)

 参数:

• url：需要访问的网站的URL地址。url格式必须完整，如 https://movie.douban.com/ 为完整的url，若url为 movie.douban.com/ 则程序运行时会提示无法识别url的提示。

• data：默认值为None，urllib判断参数data是否为None从而区分请求的方式。若参数data为None，则代表请求方式为GET，反之请求方式为POST，发送POST请求，参数data以字典形式存储数据，并将参数data由字典类型转换成字节类型才能完成POST请求。

• timeout：超时设置，指定阻塞操作（请求时间）的超市（如果未指定，就使用全局默认超时设置）。
• cafile, capath 和 cadefault：使用参数指定一组HTTPS请求的可信CA证书，cafile应指向包含一组CA证书的单个文件：capath应指向证书文件的目录：cadefault通常使用默认值即可。
• context：描述各种SSL选项的实例。

    在实际使用中，常用的参数有url，data和timeout。若在爬虫中遇到证书验证，则可将证书验证直接关闭，也可以设置参数指向证书的信息和位置。相比而言，设置证书比较耗时，而且通用性不强。

    当对网站发送请求时，网站会返回相应的响应内容。urlopen对象提供获取网站响应内容的方法函数，分别介绍如下：

• read() , readline() , readlines() , fileno() , close()：对HTTPResponse类型数据操作。
• info()：返回HTTPMessage对象，表示远程服务器返回的头信息
• getcode()：返回HTTP状态码。
• geturl()：返回请求的url。

 

下面例子用于实现urllib模块对网站发送请求并将响应内容写入文本文档，代码如下：

import urllib.request
response=urllib.request.urlopen('http://movie.douban.com',None,2)
html=response.read().decode('utf-8')
f=open('html.txt','w',encoding='utf-8')
f.write(html)
f.close()

1.2复杂的请求

---