用Python抓取网页并解析

软件版本

---

python:2.7.12

网页抓取库

---

网页抓取库为requests,

github地址为：https://github.com/requests/requests，

文档地址为：http://docs.python-requests.org/en/master/

安装很简单，直接使用pip

pip install requests

网页解析库

---

网页解析库使用beautifulsoup4,其支持多种html解析器，如html5lib,lxml，需要一并安装，推荐使用lxml网页解析器。

安装过程如下：

pip install beautifulsoup4
pip install lxml
pip install html5lib

使用方法：

soup = BeautifulSoup(html_content, "lxml", from_encoding="utf-8")

详细使用方法见《Beautiful Soup 4.4.0 文档》及他人博文《python：BeautifulSoup 模块使用指南》