### pyquery的介绍和使用

## 测试文本

text = '''

<html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b>contents</p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class='body'>...</p>

'''

1. pyquery对象初始化，html字符串，url，file皆可

## pyquery对象初始化，html字符串，url，file皆可

from pyquery import PyQuery as pq

import requests

# html字符串初始化

doc = pq(text)

print(doc('a'))

# url初始化

doc = pq(requests.get('https://www.baidu.com').text)

print(doc('title'))

# 读取文件内容初始化，编码格式为GBK，当有不可识别字符时会报错，可通过open指定编码格式为utf-8来解决

# doc = pq(filename='text')

# print(doc('li'))

2. 基本CSS选择器

## 基本CSS选择器

from pyquery import PyQuery as pq

doc = pq(text)

print(type(doc))

print(doc('.money a'))

print(doc('.money #l1'))
'''

输出内容：

<class 'pyquery.pyquery.PyQuery'>

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

'''

输出内容

3. 查找节点，返回一个PyQuery对象，当匹配到多个节点时，PyQuery对象值为多个节点的字符串整合

## 查找节点，返回一个PyQuery对象，当匹配到多个节点时，PyQuery对象值为多个节点的字符串整合

from pyquery import PyQuery as pq

doc = pq(text)

items = doc('p')

print(items)

print(type(items))

# 查找子节点

print(items.children('#l2'))

print('--------------------分隔符------------------')

# 查找父节点

print(items.parent())

print('--------------------分隔符------------------')

print(items.parents('html'))

print('--------------------分隔符------------------')

## 查找兄弟节点

print(items('#l2').siblings())
'''

输出内容：

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

<class 'pyquery.pyquery.PyQuery'>

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and 

--------------------分隔符------------------

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body>

--------------------分隔符------------------

<html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body></html>

--------------------分隔符------------------

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

'''

输出内容

4. 遍历，通过PyQuery对象的items方法可以把匹配到多个节点的PyQuery对象构造成一个生成器

## 遍历，通过PyQuery对象的items方法可以把匹配到多个节点的PyQuery对象构造成一个生成器

from pyquery import PyQuery as pq

doc = pq(doc)

print(doc('a'))

items = doc('a').items()

print(type(items))

for i, item in enumerate(items):

    print(i, item, type(item))
'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<class 'generator'>

0 <a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

 <class 'pyquery.pyquery.PyQuery'>

1 <a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

 <class 'pyquery.pyquery.PyQuery'>

2 <a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

 <class 'pyquery.pyquery.PyQuery'>

'''

输出内容

5. 获取属性和文本

## 获取属性和文本

from pyquery import PyQuery as pq

doc = pq(doc)

# 获取属性，当多个节点时，同上，用items方法构造生成器然后进行遍历输出

a = doc('.error.ed2')

print(a, type(a))

print(a.attr('href'))

print(a.attr.href)

'''

输出结果：

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

 <class 'pyquery.pyquery.PyQuery'>

https://www.baidu.com/2

https://www.baidu.com/2

'''

## 获取文本

from pyquery import PyQuery as pq

doc = pq(text)

print(doc('a.error'))

# 第一个a节点文本内容为注释内容，所以不输出

print(doc('a.error').text())  # 只输出节点内的文本内容

print(doc('a.error').html())  # 输出节点内的内容，包含标签内容

items = doc('a.error').items()

for i, item in enumerate(items):

    print(i, type(item), item.text())

    print(i, type(item), item.html())

'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

 2 3

<span><!-- 1 --></span>

0 <class 'pyquery.pyquery.PyQuery'>

0 <class 'pyquery.pyquery.PyQuery'> <span><!-- 1 --></span>

1 <class 'pyquery.pyquery.PyQuery'> 2

1 <class 'pyquery.pyquery.PyQuery'> <span>2</span>

2 <class 'pyquery.pyquery.PyQuery'> 3

2 <class 'pyquery.pyquery.PyQuery'> 3

'''

6. 节点操作

## 节点操作

from pyquery import PyQuery as pq

doc = pq(text)

p = doc('.title')


# addClass和removeClass，增加或减少class属性值

p.add_class('admin')

print(p.attr.class_)

p.removeClass('title')

print(p.attr('class'))


# attr、text和html，修改属性、文本、HTML文本内容

print(p.attr.name)

print(p.text())

print(p.html())

p.attr('name', 'test')

print(p.attr.name)

p.text('change text')

print(p.text())

p.html('<span>change html</span>')

print(p.html())


# remove，移除节点

doc = pq(text)

p = doc('.title')

print(p.html())

p.remove('b')

print(p.html())
'''

输出内容：

title admin

admin

dmr

there is money

<b>there is money</b>

test

change text

<span>change html</span>

<b>there is money</b>contents

 contents

'''

输出内容

7. 伪类编辑器

# 伪类编辑器

from pyquery import PyQuery as pq

doc = pq(text)

# 第一个a节点

a = doc('a:first-child')

print(a)

# 最后一个a节点

a = doc('a:last-child')

print(a)

# 第二个a节点

a = doc('a:nth-child(2)')

print(a)

# 第0个节点之后的节点

a = doc('a:gt(0)')

print(a)

# 偶数位置的节点

a = doc('a:nth-child(2n)')

print(a)

# 文本内容包含3的节点

a = doc('a:contains("3")')

print(a)

'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and 

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and 

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

'''

pyquery解析库的介绍和使用的更多相关文章

  1. 【Python爬虫】PyQuery解析库

    PyQuery解析库 阅读目录 初始化 基本CSS选择器 查找元素 遍历 获取信息 DOM操作 伪类选择器 PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎 ...

  2. Python3 BeautifulSoup和Pyquery解析库随笔

    BeautifuSoup和Pyquery解析库方法比较 1.对象初始化: BeautifySoup库: from bs4 import BeautifulSoup html = 'html strin ...

  3. BeautifulSoup解析库的介绍和使用

    ### BeautifulSoup解析库的介绍和使用 ### 三大选择器:节点选择器,方法选择器,CSS选择器 ### 使用建议:方法选择器 > CSS选择器 > 节点选择器 ## 测试文 ...

  4. 第四节：Web爬虫之pyquery解析库

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  5. pyquery解析库

    这一篇整理一下pyquery这个解析库.还是菜,若有错误的地方,欢迎大家随时指正.......(come on.......) pyquery:是一个css选择器,再使用时,也需要传入HTML文本来初 ...

  6. Pyquery解析库的安装和使用

    Pyquery同样是一个强大的网页解析工具,它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便.GitHub:https://github.com/gawel/pyqu ...

  7. xpath beautiful pyquery三种解析库

    这两天看了一下python常用的三种解析库,写篇随笔,整理一下思路.太菜了,若有错误的地方,欢迎大家随时指正.......(conme on.......) 爬取网页数据一般会经过 获取信息-> ...

  8. Python爬虫3大解析库使用导航

    1. Xpath解析库 2. BeautifulSoup解析库 3. PyQuery解析库

  9. pyquery 的用法 --爬虫解析库

    如果你对Web有所涉及,如果你比较喜欢用CSS选择器,如果你对jQuery有所了解,那么这里有一个更适合你的解析库--pyquery. 接下来,我们就来感受一下pyquery的强大之处. 1. 准备工 ...

随机推荐

  1. Spring Cloud Alibaba Nacos Config 的使用

    Spring Cloud Alibaba Nacos Config 的使用 一.需求 二.实现功能 1.加载 product-provider-dev.yaml 配置文件 2.实现配置的自动刷新 3. ...

  2. [BZOI2014]大融合——————线段树进阶

    竟然改了不到一小时就改出来了, 可喜可贺 Description Solution 一开始想的是边两侧简单路径之和的乘积,之后发现这是个树形结构,简单路径数就是节点数. 之后的难点就变成了如何求线段树 ...

  3. mil,mm与inch之间的转换

    inch:英寸 mil:密耳 mm:毫米 cm:厘米 1mil=0.0254mm=25.4um 1mm=39.37mil 1inch=1000mil=25.4mm=2.54cm(公分) /////// ...

  4. Java并发：重入锁 ReentrantLock（二）

    一.理解锁的实现原理 1. 用wait()去实现一个lock方法,wait()要和synchronized同步关键字一起去使用的,直接使用wait方法会直接报IllegalMonitorStateEx ...

  5. 数据流中的中位数 牛客网 剑指Offer

    数据流中的中位数 牛客网 剑指Offer 题目描述 如何得到一个数据流中的中位数?如果从数据流中读出奇数个数值,那么中位数就是所有数值排序之后位于中间的数值.如果从数据流中读出偶数个数值,那么中位数就 ...

  6. 第36篇-return字节码指令

    方法返回的字节码相关指令如下表所示. 0xac ireturn 从当前方法返回int 0xad lreturn 从当前方法返回long 0xae freturn 从当前方法返回float 0xaf d ...

  7. 【Go语言学习笔记】Go语言的基础语法

    上一篇已经说了,Go的语法和C的很接近,直接看看异同即可. 变量 变量名还是一样,字母或下划线开头,区分大小写.不能是关键字. Go定义了int32和int64这种类型来显示声明大小,和C里面的sho ...

  8. Discovery直播 | 3D“模”术师，还原立体世界——探秘3D建模服务

    通过多张普通的照片重建一个立体逼真的3D物体模型,曾经靠想象实现的事情,现在, 使用HMS Core 3D建模服务即可实现! 3D模型作为物品在数字世界中的孪生体,用户可以自己拍摄.建模并在终端直观感 ...

  9. Jenkins 邮件发送

    1.jenkins新建任务 2.配置svn 3.maven项目构建配置pom.xml 使用maven命令 clean test 构建前清除: 4.系统管理 => 插件管理 =>可选安装邮件 ...

  10. Android ANR从原理到日志分析，记下来就够了

    站在巨人的肩膀上可以看的更远 做一个优秀的搬运工 Android 彻底理解安卓应用无响应机制 Android ANR日志分析全面解析 优秀的文章不可独享,要扩散,要做好笔记,哈 <沁园春长沙&g ...