什么是PyQuery

PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能。

初始化PyQuery对象

html文档的所有操作都需要PyQuery对象来完成，初始化PyQuery对象主要有三种方式，分别是通过网址、字符串和文件名创建。

方式一：通过网址初始化PyQyery对象

先看一段代码：

from pyquery import PyQuery as pq

s = '<html><title>PyQuery用法总结<title></html>'

doc = pq(s)

print(doc('title'))

运行结果：

<title>PyQuery用法总结</title>

首先要import PyQuery类，然后将字符串传递给PyQuery类，这样就生成了一个PyQuery对象，通过该对象就可以访问字符串中的title节点。

PyQuery还会将残缺的html文档补全。看下面的代码：

from pyquery import PyQuery as pq

s = '<html><title>PyQuery用法总结</title>'

doc = pq(s)

print(doc('html'))

运行的结果：

<html><head><title>PyQuery用法总结</title></head></html>

可以我们的字符串的html节点是没有闭合的，并且缺少head节点。初始化PyQuery对象之后，会把html文档补全，并且自动加上head节点。

方式二：URL网址初始化PyQyery对象

将要解析的URL网址当做参数传递给PyQuery类：

from pyquery import PyQuery as pq

url = 'http://www.bigdata17.com'

doc = pq(url=url,encoding='utf-8')

print(doc('title'))

运行结果：

<title>Home - Summer哥的自留地</title>

方式三：通过文件初始化PyQyery对象

这个方式也比较常用，很多时候我们会将网站爬取下来然后保存在本地磁盘：

from pyquery import PyQuery as pq

doc = pq(filename='test_pyquery.html',encoding='utf-8')

print(doc('title'))

访问节点属性：

使用attr()方法访问节点的属性:

from pyquery import PyQuery as pq

li = pq('<li id="test1" class="test1"></li><li id="test2" class="test2"></li>')('li')

print(li.attr("id"))

运行结果：

test1

上面的代码中有两个id不同的li节点，但是attr()方法只取第一个li节点的id属性值，而不取第二个，我们把上面的代码修改下，把第一个li节点的id属性去掉，attr方法是否只取第一个复合条件节点的属性值：

from pyquery import PyQuery as pq

li = pq('<li class="test1"></li><li id="test2" class="test2"></li>')('li')

print(li.attr("id"))

运行结果：

None

第一个li节点没有id属性，因此返回结果为None，所以可见，attr()方法返回的是第一个节点的属性值。

那要取多个li节点的属性值，要怎么做呢？这就要结合items()方法来实现。items()方法是返回的节点的生成器generator object PyQuery.items：

from pyquery import PyQuery as pq

li = pq('<li id="test1" class="test1"></li><li id="test2" class="test2"></li>')('li')

print(li.items())

for item in li.items():

    print(item.attr("id"))

运行结果：

<generator object PyQuery.items at 0x0000027F26082728>

test1

test2

动态添加节点属性

PyQuery有很多方法动态添加节点的属性，我们挑选几个比较常用的方法介绍个大伙。

addClass(),动态添加节点class属性：

from pyquery import PyQuery as pq

html = '<li id="test1" class="test1"></li>'

li = pq(html)('li')

li.addClass("addClass")

print(li)

运行结果：

<li id="test1" class="test1 addClass"/>

可见li节点的calss属性值有test1变为test1 addclass。

addClass()方法只能动态添加节点class属性的值，能不能动态添加其他属性呢？答案是当然可以，attr()方法就可以实现：

from pyquery import PyQuery as pq

html = '<li id="test1" class="test1"></li>'

li = pq(html)('li')

li.attr("name","li name")

print(li)

li.attr("type","li")

print(li)

print(li.attr("type"))

运行结果：

<li id="test1" class="test1" name="li name"/>

<li id="test1" class="test1" name="li name" type="li"/>

li

上面的代码一共执行了3次attr()方法，执行第一次attr()方法时，有两个参数，分别是name和li name。这是给li节点添加name属性及属性值。执行第二次attr()方法也有两个参数，分别是type和li，这是给li几点添加type属性及type属性值。执行第三次方法attr()方法只有一个type参数，根据前面介绍的attr()方法的用法可知，是获取li节点type属性的值。

小结： attr()方法只有一个参数时，是获取节点的属性值，有两个参数时，是给节点添加属性及属性值，第一个参数时属性，第二个参数时属性值。

removeClass(),动态移除节点的class属性：

from pyquery import PyQuery as pq

html = '<li id="test1" class="test1"></li>'

li = pq(html)('li')

li.removeClass("test1")

print(li)

运行结果：

<li id="test1" class=""/>

将class节点的属性值有test1变为“”。

动态添加/修改文本值

PyQuery支持动态给节点添加文本值：

from pyquery import PyQuery as pq

html = '<li id="test1" class="test1"></li>'

li = pq(html)('li')

li.html("use html() dynamic add text")

print(li)

li.text("use text() dynamic add text")

print(li)

运行结果：

<li id="test1" class="test1">use html() dynamic add text</li>

<li id="test1" class="test1">use text() dynamic add text</li>

可见使用html()和text()方法都可以动态的给节点添加或修改节点的文本值。

获取节点文本值

PyQuery提供text()和html()方法获取节点的文本属性值：

from pyquery import PyQuery as pq

html = '<li id = "test_id">li text value</li>'

li = pq(html)('li')

print(li.text())

print(li.html())

运行结果：

li text value

li text value

小结： html()和text()如果没参数，则是获取属性的文本值，如果有参数，则是改变或者添加节点的属性值。

移除节点：

remove()方法可以动态移除节点：

from pyquery import PyQuery as pq

html = '''

<ul>

hello I am ul tag

<li>hello I am li tag</li>

</ul>

'''

ul = pq(html)('ul')

print(ul.text())

print('执行remove()移除节点')

ul.find('li').remove()

print(ul.text())

运行结果：

hello I am ul tag

hello I am li tag

执行remove()移除节点

hello I am ul tag

上述代码的ul节点中有个li节点，执行ul.text()方法会返回包括li节点的文本信息，如果我们不想返回li节点的文本信息，仅仅只需要ul节点的文本信息“hell I am ul tag”，要怎么做呢？这时候remove()方法就派上用场了，它删除掉ul节点内的li节点。

查找节点

PyQuery支持使用css的.和#来查找节点：

from pyquery import PyQuery as pq

html = '''

<div class="div_tag">

<ul id = "ul_tag">

hello I am ul tag

<li>hello I am li tag</li>

<li>hello I am li tag too</li>

</ul>

</div>

'''

doc = pq(html)

print(doc('.div_tag #ul_tag li'))

运行结果：

<li>hello I am li tag</li>

<li>hello I am li tag too</li>

上述代码是通过.div_tag获取class为div_tag的节点，然后通过#ul_tag获取id为ul_tag的节点，最后返回所有的li节点。

find()方法查找节点：

html = '''

<div class="div_tag">

<ul id = "ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</li>

<li>hello I am li tag too</li>

</ul>

</div>

'''

doc = pq(html)

print(doc('.div_tag #ul_tag').find("li"))

运行结果：

<li>hello I am li tag<a>www.bigdata17.com</a></li>

<li>hello I am li tag too</li>

可见find("li")是把所有li节点及子节点都查找出来。

还有一个children()方法，是获取当前节点的所有子节点。该方法可以传入css选择器：children('.ul_tag')。

html = '''

<div class="div_tag">

<ul id = "ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</li>

<li>hello I am li tag too</li>

</ul>

</div>

'''

doc = pq(html)

print(doc('.div_tag #ul_tag').find("li"))

运行结果：

<li>hello I am li tag<a>www.bigdata17.com</a></li>

<li>hello I am li tag too</li>

使用parent()方法获取当前节点的父亲节点：

html = '''

<div class="div_tag">

<ul id = "ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</li>

<li>hello I am li tag too</li>

</ul>

</div>

'''

doc = pq(html)

print(doc('.div_tag #ul_tag li').parent())

运行结果：

<ul id="ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</a></li>

<li>hello I am li tag too</li>

</ul>

上述代码通过.div_tag #ul_tag li css选择器定位到li节点，然后调用parent()方法获取li节点的父节点ul。

parents()返回当前节点的所有祖宗节点：

html = '''

<div class="div_tag">

<ul id = "ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</li>

<li>hello I am li tag too</li>

</ul>

</div>

'''

doc = pq(html)

print(doc('.div_tag #ul_tag li').parents())

运行结果：

<html><body><div class="div_tag">

<ul id="ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</a></li>

<li>hello I am li tag too</li>

</ul>

</div>

</body></html><body><div class="div_tag">

<ul id="ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</a></li>

<li>hello I am li tag too</li>

</ul>

</div>

</body><div class="div_tag">

<ul id="ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</a></li>

<li>hello I am li tag too</li>

</ul>

</div>

<ul id="ul_tag">

hello I am ul tag

<li>hello I am li tag<a>www.bigdata17.com</a></li>

<li>hello I am li tag too</li>

</ul>

上面代码返回li节点的所有祖宗节点：html，body,div,ul。

siblings()方法返回当前节点的兄弟节点：

html = '''

<div class="div_tag">

<ul id = "ul_tag">

hello I am ul tag

<li class="li_class1">hello I am li tag<a>www.bigdata17.com</li>

<li class="li_class2">hello I am li tag too</li>

<li class="li_class3">hello I am the third li tag</li>

</ul>

</div>

'''

doc = pq(html)

print(doc('.div_tag #ul_tag .li_class1').siblings())

运行结果：

<li class="li_class2">hello I am li tag too</li>

<li class="li_class3">hello I am the third li tag</li>

使用.div_tag #ul_tag .li_class1 CSS节点选择器获取到class为liclassq1的li节点，就是第一个li节点，然后调用siblings()方法获取到子节点，分别是

第二和第三个li节点。

sibligs()还支持传入css选择器筛选符合条件的li节点：

print(doc('.div_tag #ul_tag .li_class1').siblings('.li_class3'))

运行结果：

<li class="li_class3">hello I am the third li tag</li>

总结：本文讲述了如何使用PyQuery获取网页节点，节点的文本信息，改变节点属性，删除节点属性，增加节点属性等知识点。

一起学爬虫——PyQuery常用用法总结的更多相关文章

  1. Python爬虫利器六之PyQuery的用法

    前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有 ...

  2. pyquery 的用法 --爬虫解析库

    如果你对Web有所涉及,如果你比较喜欢用CSS选择器,如果你对jQuery有所了解,那么这里有一个更适合你的解析库--pyquery. 接下来,我们就来感受一下pyquery的强大之处. 1. 准备工 ...

  3. 一起学爬虫——使用selenium和pyquery爬取京东商品列表

    layout: article title: 一起学爬虫--使用selenium和pyquery爬取京东商品列表 mathjax: true --- 今天一起学起使用selenium和pyquery爬 ...

  4. Python爬虫：学爬虫前得了解的事儿

    这是关于Python的第14篇文章,主要介绍下爬虫的原理. 提到爬虫,我们就不得不说起网页,因为我们编写的爬虫实际上是针对网页进行设计的.解析网页和抓取这些数据是爬虫所做的事情. 对于大部分网页来讲, ...

  5. centos的vi常用用法

    centos的vi常用用法 vi编辑器是所有Unix及Linux系统下标准的编辑器,它的强大不逊色于任何最新的文本编辑器,这里只是简单地介绍一下它的用法和一小部分指令.由于对Unix及Linux系统的 ...

  6. MySql与SqlServer的一些常用用法的差别

    MySql与SqlServer的一些常用用法的差别 本文为转载 本文将主要列出MySql与SqlServer不同的地方,且以常用的存储过程的相关内容为主. 1. 标识符限定符 SqlServer [] ...

  7. ［转］ssh常用用法小结

    ssh常用用法小结 1.连接到远程主机: 命令格式 : ssh name@remoteserver 或者 ssh remoteserver -l name 说明:以上两种方式都可以远程登录到远程主机, ...

  8. 【三支火把】---一份程序看懂C程序printf()的几种常用用法

    闲来继续巩固我的学习之路,今天略微整理了一下,C程序中Printf()的一些常用用法,虽然自己以前好像会,但是不够系统,今天大致整理了一些,先贴上来看看,以后在看到其他,继续补充,希望能帮到一些像我一 ...

  9. grep参数说明及常用用法

    grep参数说明及常用用法 趁着午休的时间把自己经常使用的一些grep命令整理一下. 方便以后查看. 后续会逐步把awk/sed/find等常用的命令理一理. 增强下记忆. 也算是对得起自己了. ^^ ...

随机推荐

  1. Cut 'em all! CodeForces - 982C（贪心dfs）

    K - Cut 'em all! CodeForces - 982C 给一棵树 求最多能切几条边使剩下的子树都有偶数个节点 如果n是奇数 那么奇数=偶数+奇数 不管怎么切 都会有奇数 直接打印-1 贪 ...

  2. linux中的&&，|| 与 () 命令

    用&&连接两个命令,前一命令执成功(返回0)下一命令才会执行, 如 date && echo 1 会打印1,而data && echo 2不会打印2 & ...

  3. [WC2007]剪刀石头布（最大流）

    洛古 一句话题意:给定一张图,每两点之间有一条有向边或无向边,把所有无向边定向,使图中三元环个数尽量多 因为原图是一个完全图,假设图中任意三点都能构成三元环,那么途中三元环的个数为:\(\binom{ ...

  4. Servlet 学习

    3.1 概念 运行在服务器端的小程序 Servlet 就是一个接口 定义JAVA类被浏览器访问(Tomact 识别)的规则 将来 我们需要自定义一个类 实现servlet 接口 重写方法 3.2 快速 ...

  5. vue---由nextTick原理引出的js执行机制

    最开始查看nextTick这个方法的时候,眼瞎看成了nextClick...我还在疑问难道是下一次click之后处理事件... 然后用这个方法的时候,就只知道是用在DOM更新之后调用回调方法. 这时就 ...

  6. MySQL安全配置向导mysql_secure_installation详解

    安装完mysql-server 会提示可以运行mysql_secure_installation.运行mysql_secure_installation会执行几个设置:  a)为root用户设置密码  ...

  7. 类型和原生函数及类型转换（三：终结js类型转换）

    Number() parseInt() parseFloat() Boolean() String() toString() 一.显式类型转换 -------Number()函数把对象的值转换为数字. ...

  8. Resources (being shared)

    论文下载求助论坛 数学杂志的模版 答辩PPT模版 发一篇文章的经历 数学期刊名称缩写 英文书籍下载 英文书籍下载 中文书籍下载 数学分析高等代数考研试题官方下载地址

  9. [译]Ocelot - Routing

    原文 Ocelot主要的功能就是将http请求转发到对应的下游服务上去. Ocelot将一个请求路由到另外一个路由的动作叫做ReRoute.为了能让Ocelot能正常工作,需要在配置中设置ReRout ...

  10. TCP/IP教程

    一.TCP/IP 简介 TCP/IP 是用于因特网的通信协议. 通信协议是对计算机必须遵守的规则的描述,只有遵守这些规则,计算机之间才能进行通信. 什么是 TCP/IP? TCP/IP 是供已连接因特 ...