Python 爬虫笔记

urllib##

python3 与 python2 的urllib很不一样，之前urllib2的方法基本上都变成了python3里的urllib.request模块中

import urllib.request as urq

import urllib.parse as urp

import urllib.error as ure

# 初始化

opener = urq.build_opener()

# 序列化请求参数 urllib.parse.urlencode()

url = "http://localhost"

data = {"username":"dapianzi"}

post_data = urp.urlencode(data).encode('utf-8')

# 设置 header

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"}

# 构造request对象

request = urq.Request(url, post_data, headers)

# 打开url

try:

    res = opener.open(request)

    # 从结果对象中获取内容  read()， 返回二进制流

    b_str = res.read()

    # 解码还原, 编码视网页源代码而定

    print(b_str.decode("utf8"))

except ure.HTTPError as e:

    print (e.strerror)

unzip

通常网页会用gzip压缩，这时候需要先解压。导入gzip 模块， gzip.decompress(str)

def unzip(data):

    try:

        data = gzip.decompress(data)

    except:

        pass

    return data

re 正则表达式

re.M 多行模式

re.I 忽略大小写

re.S \s 匹配换行

re.search 搜索

re.match 从开头匹配

re.fandall 匹配所有结果

Beautiful soup

Beautifulsoup 是一个强大的html文档解析模块。使用起来跟css选择器非常像。python3 直接pip install bs4安装，获取网页内容之后：

import bs4

html = "<html>The content you have got</html>"

# 初始化 beautiful soup对象

soup = bs4.BeautifulSoup(html, "html.parser")

# 直接.<标签>可以获取第一个匹配的元素

a = soup.a

print(a.string) # a标签的文本

imgs = soup.select('img') # all imgs

for i in imgs:

    src = i['src']    # src属性

    id = i['id']    # id属性（假如有的话）

    print (src) # 后续操作继续抓取图片内容保存本地..

cookie

设置和保存cookie 需要用到 http.cookiejar 模块。然后通过 urllib.request.HTTPCookieProcessor 处理器初始化cookie

import http.cookiejar as ckj

import urllib.request as urq

cookie_tmp = "/tmp/cookie.tmp"

cookie = ckj.MozillaCookieJar(cookie_tep)

cookie_handler = urq.HTTPCookieProcessor(cookie)

opener = urq.build_opener(cookie_handler)

res = opener.open(url).read().decode()

# ignore_dicsard 是否覆盖旧的值

# ignore_expires 是否忽略过期cookie

cookie.save(cookie_tmp, ignore_discord=True, ignore_expires=True)

print(res)

print(cookie)

proxy代理

代理ip无论是自由上网还是应对封ip反爬虫策略都非常重要。首先要找一个可以用的代理。我后来想到自己完全可以搭一个http代理服务器，然后就被坑了一下午，这是后话暂且不表。

增加proxy非常简单，就是build_opener的时候多传一个 proxy handler

proxy = {"http" : "x.x.x.x:80"}

proxy_handler = urllib.request.ProxyHandler(proxy)

# 这里如果有多个handle, 一起传进去就行了

opener = urllib.request.build_opener(proxy_handelr, cookie_handler)

# ...

小结

以上掌握了之后就可以开始各种爬虫实践了，至于http认证，在 header 那里带上用户名密码就可以，不再赘述。