### pyquery的介绍和使用

## 测试文本

text = '''

<html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b>contents</p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class='body'>...</p>

'''

1. pyquery对象初始化，html字符串，url，file皆可

## pyquery对象初始化，html字符串，url，file皆可

from pyquery import PyQuery as pq

import requests

# html字符串初始化

doc = pq(text)

print(doc('a'))

# url初始化

doc = pq(requests.get('https://www.baidu.com').text)

print(doc('title'))

# 读取文件内容初始化，编码格式为GBK，当有不可识别字符时会报错，可通过open指定编码格式为utf-8来解决

# doc = pq(filename='text')

# print(doc('li'))

2. 基本CSS选择器

## 基本CSS选择器

from pyquery import PyQuery as pq

doc = pq(text)

print(type(doc))

print(doc('.money a'))

print(doc('.money #l1'))
'''

输出内容：

<class 'pyquery.pyquery.PyQuery'>

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

'''

输出内容

3. 查找节点，返回一个PyQuery对象，当匹配到多个节点时，PyQuery对象值为多个节点的字符串整合

## 查找节点，返回一个PyQuery对象，当匹配到多个节点时，PyQuery对象值为多个节点的字符串整合

from pyquery import PyQuery as pq

doc = pq(text)

items = doc('p')

print(items)

print(type(items))

# 查找子节点

print(items.children('#l2'))

print('--------------------分隔符------------------')

# 查找父节点

print(items.parent())

print('--------------------分隔符------------------')

print(items.parents('html'))

print('--------------------分隔符------------------')

## 查找兄弟节点

print(items('#l2').siblings())
'''

输出内容：

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

<class 'pyquery.pyquery.PyQuery'>

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and 

--------------------分隔符------------------

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body>

--------------------分隔符------------------

<html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body></html>

--------------------分隔符------------------

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

'''

输出内容

4. 遍历，通过PyQuery对象的items方法可以把匹配到多个节点的PyQuery对象构造成一个生成器

## 遍历，通过PyQuery对象的items方法可以把匹配到多个节点的PyQuery对象构造成一个生成器

from pyquery import PyQuery as pq

doc = pq(doc)

print(doc('a'))

items = doc('a').items()

print(type(items))

for i, item in enumerate(items):

    print(i, item, type(item))
'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<class 'generator'>

0 <a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

 <class 'pyquery.pyquery.PyQuery'>

1 <a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

 <class 'pyquery.pyquery.PyQuery'>

2 <a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

 <class 'pyquery.pyquery.PyQuery'>

'''

输出内容

5. 获取属性和文本

## 获取属性和文本

from pyquery import PyQuery as pq

doc = pq(doc)

# 获取属性，当多个节点时，同上，用items方法构造生成器然后进行遍历输出

a = doc('.error.ed2')

print(a, type(a))

print(a.attr('href'))

print(a.attr.href)

'''

输出结果：

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

 <class 'pyquery.pyquery.PyQuery'>

https://www.baidu.com/2

https://www.baidu.com/2

'''

## 获取文本

from pyquery import PyQuery as pq

doc = pq(text)

print(doc('a.error'))

# 第一个a节点文本内容为注释内容，所以不输出

print(doc('a.error').text())  # 只输出节点内的文本内容

print(doc('a.error').html())  # 输出节点内的内容，包含标签内容

items = doc('a.error').items()

for i, item in enumerate(items):

    print(i, type(item), item.text())

    print(i, type(item), item.html())

'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

 2 3

<span><!-- 1 --></span>

0 <class 'pyquery.pyquery.PyQuery'>

0 <class 'pyquery.pyquery.PyQuery'> <span><!-- 1 --></span>

1 <class 'pyquery.pyquery.PyQuery'> 2

1 <class 'pyquery.pyquery.PyQuery'> <span>2</span>

2 <class 'pyquery.pyquery.PyQuery'> 3

2 <class 'pyquery.pyquery.PyQuery'> 3

'''

6. 节点操作

## 节点操作

from pyquery import PyQuery as pq

doc = pq(text)

p = doc('.title')


# addClass和removeClass，增加或减少class属性值

p.add_class('admin')

print(p.attr.class_)

p.removeClass('title')

print(p.attr('class'))


# attr、text和html，修改属性、文本、HTML文本内容

print(p.attr.name)

print(p.text())

print(p.html())

p.attr('name', 'test')

print(p.attr.name)

p.text('change text')

print(p.text())

p.html('<span>change html</span>')

print(p.html())


# remove，移除节点

doc = pq(text)

p = doc('.title')

print(p.html())

p.remove('b')

print(p.html())
'''

输出内容：

title admin

admin

dmr

there is money

<b>there is money</b>

test

change text

<span>change html</span>

<b>there is money</b>contents

 contents

'''

输出内容

7. 伪类编辑器

# 伪类编辑器

from pyquery import PyQuery as pq

doc = pq(text)

# 第一个a节点

a = doc('a:first-child')

print(a)

# 最后一个a节点

a = doc('a:last-child')

print(a)

# 第二个a节点

a = doc('a:nth-child(2)')

print(a)

# 第0个节点之后的节点

a = doc('a:gt(0)')

print(a)

# 偶数位置的节点

a = doc('a:nth-child(2n)')

print(a)

# 文本内容包含3的节点

a = doc('a:contains("3")')

print(a)

'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and 

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and 

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

'''

pyquery解析库的介绍和使用的更多相关文章

  1. 【Python爬虫】PyQuery解析库

    PyQuery解析库 阅读目录 初始化 基本CSS选择器 查找元素 遍历 获取信息 DOM操作 伪类选择器 PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎 ...

  2. Python3 BeautifulSoup和Pyquery解析库随笔

    BeautifuSoup和Pyquery解析库方法比较 1.对象初始化: BeautifySoup库: from bs4 import BeautifulSoup html = 'html strin ...

  3. BeautifulSoup解析库的介绍和使用

    ### BeautifulSoup解析库的介绍和使用 ### 三大选择器:节点选择器,方法选择器,CSS选择器 ### 使用建议:方法选择器 > CSS选择器 > 节点选择器 ## 测试文 ...

  4. 第四节：Web爬虫之pyquery解析库

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  5. pyquery解析库

    这一篇整理一下pyquery这个解析库.还是菜,若有错误的地方,欢迎大家随时指正.......(come on.......) pyquery:是一个css选择器,再使用时,也需要传入HTML文本来初 ...

  6. Pyquery解析库的安装和使用

    Pyquery同样是一个强大的网页解析工具,它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便.GitHub:https://github.com/gawel/pyqu ...

  7. xpath beautiful pyquery三种解析库

    这两天看了一下python常用的三种解析库,写篇随笔,整理一下思路.太菜了,若有错误的地方,欢迎大家随时指正.......(conme on.......) 爬取网页数据一般会经过 获取信息-> ...

  8. Python爬虫3大解析库使用导航

    1. Xpath解析库 2. BeautifulSoup解析库 3. PyQuery解析库

  9. pyquery 的用法 --爬虫解析库

    如果你对Web有所涉及,如果你比较喜欢用CSS选择器,如果你对jQuery有所了解,那么这里有一个更适合你的解析库--pyquery. 接下来,我们就来感受一下pyquery的强大之处. 1. 准备工 ...

随机推荐

  1. Seata的一些概念

    Seata的一些概念 一.什么是seata 二.AT模式的介绍 1.前提条件 2.整体机制 3.读写隔离的实现 1.写隔离 2.读隔离 三.事务分组 1.事务分组是什么? 2.通过事务分组如何找到后端 ...

  2. 计算机中的contex理解

    原文链接  https://www.xuebuyuan.com/2016635.html 1.其实简单的说就是跟当前主题有关的所有内容. 2.如说到程序的上下文,就是当前这段程序之上和之下的程序段.因 ...

  3. 单片机STM32的启动文件详解--学习笔记

    启动文件简介 启动文件由汇编编写,是系统上电复位后第一个执行的程序.主要做了以下工作: 1.初始化堆栈指针SP=_initial_sp 2.初始化PC 指针=Reset_Handler 3.初始化中断 ...

  4. 洛谷 P5658 [CSP-S2019] 括号树

    链接: P5658 分析: 显然我们应该在dfs树的同时维护每个点的答案. 注意到第 \(u\) 个点的答案可以分成两部分,不包含 \(u\) 点时的答案,和加入 \(u\) 点后新增的答案,前者可以 ...

  5. 并发编程从零开始（十二）-Lock与Condition

    并发编程从零开始(十二)-Lock与Condition 8 Lock与Condition 8.1 互斥锁 8.1.1 锁的可重入性 "可重入锁"是指当一个线程调用 object.l ...

  6. 种类并查集（维护敌人的敌人是朋友）、并行-poj1182-食物链 笔记

    题意 输入若干组数据,代表着不同动物在食物链的位置(A,B,C),要求出在输入的过程中有多少组数据会与之前矛盾. 思路(借鉴挑战程序设计竞赛) 这题是学并查集时的题,所以用了并查集. 一开始我想的是, ...

  7. 测试平台系列(71) Python定时任务方案

    大家好~我是米洛! 我正在从0到1打造一个开源的接口测试平台, 也在编写一套与之对应的完整教程,希望大家多多支持. 欢迎关注我的公众号测试开发坑货,获取最新文章教程! 定时任务 定时任务,顾名思义: ...

  8. 官宣 .NET RC 2

    我们很高兴发布 .NET 6 RC(Release Candidate) 2.它是生产环境中支持的两个"go live"候选版本中的第二个. 在过去的几个月里,团队一直专注于质量的 ...

  9. springboot单元测试 JUnit5

    JUnit5简介 Spring Boot 2.2.0 版本开始引入 JUnit 5 作为单元测试默认库 JUnit 5官方文档 作为最新版本的JUnit框架,JUnit5与之前版本的JUnit框架有很 ...

  10. Java发展的重大事故

    1990年,在Sun计算机公司中,由Patrick Naughton.Mi keSheridan 及 James Gosling领导的小组Green Team,开发出的新的程序语言,命名为0ak, 后 ...