bs4-BeautifulSoup

1.BeautifulSoup下载

pip install BeautifulSoup4 或者 pip install bs4
pip install lxml　　　　　　#解析器

2.BeautifulSoup支持的解析器

解析器	使用方法	优势	劣势
python标准解析库	BeautifulSoup(markup, "html.parser")	Python的内置标准库 执行速度适中 文档容错能力强	Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, "lxml")	速度快 文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, ["lxml-xml"]) BeautifulSoup(markup, "xml")	速度快 唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, "html5lib")	最好的容错性 以浏览器的方式解析文档 生成HTML5格式的文档	速度慢 不依赖外部扩展

3.BeautifulSoup常用方法

 soup = BeautifulSoup(目标字符串,'解析器')
 #根据标签名查找
 soup.a  #只能查找得到第一个符合要求的节点,是一个对象，bs4自己封装类的对象
 #获取属性
 soup.a.attrs   #获取得到所有属性和值，是一个字典
 soup.a.attrs['href']  #获取指定的属性值
 soup.a['href'] #简写形式
 #获取文本(如果标签里面还有标签,那么string为空)
 soup.a.string
 soup.a.text
 soup.a.get_text()

 #DOM树操作
 #子节点
 #.content返回列表 .children返回生成器
 #所有子孙节点
 #.descendants生成器
 #父节点
 #.parent
 #全部父节点
 #.parents生成器
 #兄弟节点
 #.next_silbling .previous_silbling
 #兄弟节点可以理解为和本节点在统一级的节点
 #全部兄弟节点
 #.next_silblings .previous_silblings生成器
 #前后节点
 #.next_element .previous_element
 #与兄弟界节点不同，并不针对与兄弟节点，而是再有节点，部分层次

 #find_all方法
 #返回的是一个列表，列表里面都是节点对象
 soup.find_all('a')#找到所有a
 soup.find_all('a', limit=2)# 提取符合要求的前两个a
 soup.find_all(['a', 'li'])# 查找得到所有的a和li
 soup.find_all('a', class_='xxx')#查找得到所有class是xxx的a
 soup.find_all('li', class_=re.compile(r'^xiao'))#查找所有的class以xiao开头的li标签

官方帮助文档:https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/