Python3编写网络爬虫07-基本解析库pyquery的使用

三、pyquery

简介：同样是一个强大的网页解析工具 它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便

安装：

pip install pyquery

验证：

import pyquery

初始化时 也需要传入HTML文本 初始化一个PyQuery对象 初始化方式有多种 例如直接传入字符串，传入URL，传入文件名等等。

1. 字符串初始化

示例：

html = '''
<div>
<ul>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
'''

from pyquery import PyQuery as pq #引入PyQuery对象 取别名pq
doc = pq(html)#将html当作参数 传递给PyQuery类
print(doc('li'))#传入li节点 选择所有li节点

2. URL初始化

doc = pq(url='https://www.huawei.com/cn/?',encoding='utf-8')
print(doc('title'))

pyquery对象首先请求url 得到HTML内容完成初始化 相当于用网页源代码 字符串的形式传递给pyquery类来初始化

与下面的功能是一样的

from pyquery import PyQuery as pq
import requests
doc = pq(requests.get('https://www.huawei.com').text)
print(doc('title'))

3.文件初始化

doc = pq(filename='01.txt')
print(doc('li'))

最常见的还是字符串形式

4.基本CSS选择器

实例：

html = '''
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
print(doc('#container .list li'))#先选取 id 为container的节点 class为list的节点 所有li节点
print(type(doc('#container .list li')))#pyquery类型

5.查找节点

# 常用的查询函数 与jQuery中函数用法完全相同

5.1 find() 方法 查找所有子孙节点

doc = pq(html)
items = doc('.list')
print(type(items))#pyquery类型
print(items)#ul节点内容
lis = items.find('li')#调用find()方法 参数必选
print(type(lis))#类型为pyquery
print(lis)#所有的li节点内容

5.2 children() 查找子节点

lis = items.children()#参数可选 例如 .active li等 进行元素过滤
print(type(lis))#类型为pyquery
print(lis)#子节点li

5.3 parent() 获取某个节点的父节点

示例：

html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
container = items.parent()
print(type(container))
print(container)#返回id 为container的节点内容

5.4 parents() 获取某个节点的所有祖先节点

items = doc('.list')
parents = items.parents()
print(parents)#没有给参数 所以会遍历上一层级 传递css参数 可筛选

5.5 siblings() 获取所有兄弟节点

li = doc('.list .item-0.active')
print(li.siblings())#返回四个兄弟节点
#筛选的话 在方法中加入参数
print(li.siblings('.active'))#返回一个兄弟节点

6. 遍历

pyquery 选择结果可能是多个节点 也可能是单个节点 类型都是pyquery类型 没有返回向BS那样的列表

对于单个节点 可以直接打印输出 也可以转化成字符串

li = doc('.item-0.active')
print(li)
print(str(li))

多个节点 遍历 需要调用 items()方法

lis = doc('li').items()
print(type(lis))#结果是生成器
for li in lis:
print(li,type(li))

7. 获取信息

attr() 获取属性值

a = doc('.item-0.active a')
print(a,type(a))
print(a.attr('href'))#属性值为link3.html

简写 print(a.attr.href)

调用多个节点

a = doc('a')
print(a,type(a))
print(a.attr('href'))
print(a.attr.href)

#返回结果只有第一个

获取所有的a节点属性 遍历

a = doc('a')
for item in a.items():
print(item.attr.href)

text() 获取文本

a = doc('.item-0.active a')
print(a)
print(a.text())#首先选中a节点 text()方法 获取其内部文本信息 忽略掉节点内部包含的HTML 只返回纯文本内容

获取节点内部的HTML文本 html()方法

li = doc('.item-0.active')
print(li)#查找到第三个li节点
print(li.html())#a节点内容

选择到的是多个节点

li = doc('li')
print(li.html())#返回第一个节点的内部HTML文本
print(li.text())#返回所有的li节点内部纯文本
print(type(li.text()))#str 类型

8. 节点操作

pyquery提供了一系列方法对节点进行动态修改 例如给某个节点添加一个class 移除某个节点等

列举几个典型方法

8.1 addClass() 和 removeClass()

html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

li = doc('.item-0.active')
print(li)
li.removeClass('active')#移除active属性
print(li)
li.addClass('active')#添加active属性
print(li)

8.2 attr()、text()、html()

li = doc('.item-0.active')
print(li)
li.attr('name','link')#修改属性 第一个参数为属性名
print(li)
li.text('changed item')#传入文本
print(li)
li.html('<span>changed item</span>')#传入html文本
print(li)

attr() 传入一个参数的属性名 获取这个属性值 传入两个参数 修改属性值
text() 获取节点内纯文本 传入参数进行赋值
html() 获取节点内部的HTML文本 传入参数进行赋值

8.3 remove() 移除

示例： 提取 Hello,World 文本

html = '''
<div class="wrap">
Hello,World
<p>This is a paragraph.</p>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

wrap = doc('.wrap')
print(wrap.text())

wrap.find('p').remove()
print(wrap.text())

更多节点操作方法 http://pyquery.readthedocs.io/en/latest/api.html

9.伪类选择器

示例：

html = '''
<div class="wrap">
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

li = doc('li:first-child')#第一个li节点
print(li)

li = doc('li:last-child')#最后一个li节点
print(li)

li = doc('li:nth-child(2)')#第二个li节点
print(li)

li = doc('li:gt(2)')#第三个li之后的li节点
print(li)

li = doc('li:nth-child(2n)')#偶数位置的li节点
print(li)

li = doc('li:contains(second)')#包含second文本的li节点
print(li)

更多常用用法 参考官方文档 http://pyquery.readthedocs.io