Python urllib2 模块学习笔记

2015.3.6

 urllib2的使用方法大致如下

# 定制Handler处理函数

opener = urllib2.build_opener(ProxyHandler, HTTPHandler)

urllib2.install_opener(opener)

 

# 定制URL参数

request = urllib2.Request()

request.add_headers(xxx)

 

# 打开URL，返回file-like对象

response = urllib2.urlopen(req)

 

# 获得结果

print response.read()

 

关键的处理机制分析

 

urlopen()

是处理的入口函数。
获取  OpenerDirector 对象，调用 Opener.open()。
默认的OpenerDirector 对象保存在变量 _open中。
采用了Singleton模式。

 

build_opener()

是一个对象工厂函数，创建OpenerDirector对象。

内部提供了默认的handler列表，函数传入的handler参数取代默认的handlers。

调用OpenerDirector.add_handler()函数，注册handlers。先注册默认的handler，再注册定制的handler。按照在参数中的顺序进行注册。

 

install_opener()

将OpenerDirector对象保存到变量_opener中，作为默认opener使用。

 

class OpenerDirector

采用了Composite模式。

add_handler()：注册handler对象到内部列表中。

open()：调用handler列表中每个对象的open方法，触发处理操作。

 

class Request

作为一个信息对象，保存和url相关的参数，包括headers、data、proxy等。用于url参数的传递。

 

class HTTPHandler

类继承关系：BaseHandler -> AbstractHTTPHandler -> HTTPHandler

调用 httplib.HTTPConnection 完成 HTTP的处理。