Python爬虫1-----urllib模块

1、加载urllib模块的request

from urllib import request

2、相关函数：

（1）urlopen函数：读取网页

• webpage=request.urlopen(url，timeout=1)   【读取网页,参数timeout表示1秒之后为超时，遇到无效网页时可以跳过】
• data=webpage.read()   【读取页面内容】

　　【使用webpage.read()读取的页面内容text内容为bytes-object，打印内容为b’……‘】

• data=data.decode('utf-8')    【解码】

　　【text为bytes-object，将其转换为字符串text.decode()，默认参数为空，也可使用编码方式参数，格式为decode(“gb2312”)。】

• pat='<div class="name">(.*?)</div>'

　　res=re.compile(pat).findall(str(data))【记得str(data)】

　　【无法直接使用到re.search()，使用前需要转换为string类型。res就是获取的内容】

（2）urlretrieve函数：读取网页并可以保存在本地,成为本地网页

• urllib.request.urlretrieve( url , filename=" 本地文件地址//1.html" )

（3）urlcleanup()函数：使用urlretrieve函数会导致一些缓存，使用它可以清除。

• urllib.request.urlcleanup()

（4）info()函数：返回网页的一些信息。

（5）getcode()：若返回200表明爬取正常

（6）geturl（）：返回正在爬取的网页

（7）（可以查一下llib.request.Request函数）post和get请求