pyquery的介绍

pyquery允许对xml、html文档进行jQuery查询。
pyquery使用lxml进行快速xml和html操作。
pyquery是python中的jquery

PyQuery的使用：

1.安装模块：

pip3 install pyquery

2.导入模块:

from pyquery import PyQuery as pq

3.解析对象初始化：

【使用PyQuery初始化解析对象,PyQuery是一个类，直接将要解析的对象作为参数传入即可】

解析对象为字符串时字符串初始化：默认情况下是字符串，如果字符串是一个带http\https前缀的，将会认为是一个url
```
textParse = pq(html)
```

解析对象为网页时url初始化: 建议使用关键字参数url=

# urlParse = pq('http://www.baidu.com') #1

urlParse = pq(url='http://www.baidu.com') #2

解析对象为文件时文件初始化：建议使用关键字参数filename=
```
fileParse = pq(filename="L:\demo.html")
```
解析完毕后，就可以使用相关函数或变量来进行筛选，可以使用css等来筛选，

4.CSS选择器：

利用标签获取：
```
result = textParse('h2').text()
```
利用类选择器：
```
result3=textParse(".p1").text()
```
利用id选择：
```
result4=textParse("#user").attr("type")
```
分组选择：
```
result5=textParse("p,div").text()
```
后代选择器：
```
result6=textParse("div a").attr.href
```

属性选择器：

result7=textParse("[class='p1']").text()

CSS3伪类选择器：
```
result8=textParse("p:last").text()
```

（更多的，可以参考css）

5.在选定元素之后的元素再选取:

find():找出指定子元素 ,find可以有参数，该参数可以是任何 jQuery 选择器的语法，
filter():对结果进行过滤，找出指定元素 ,filter可以有参数，该参数可以是任何 jQuery 选择器的语法，
children():获取所有子元素，可以有参数，该参数可以是任何 jQuery 选择器的语法，
parent():获取父元素，可以有参数，该参数可以是任何 jQuery 选择器的语法，
parents():获取祖先元素，可以有参数，该参数可以是任何 jQuery 选择器的语法，
siblings():获取兄弟元素，可以有参数，该参数可以是任何 jQuery 选择器的语法，

from pyquery import PyQuery as pq

html="""

<html>

<head>

</head>

<body>

<h2>This is a heading</h2>

<p class="p1">This is a paragraph.</p>

<p class="p2">This is another paragraph.</p>

<div>

123

<a id="a1" href="http://www.baidu.com">hello</a>

</div>

<input type="Button" >

<input id="user" type="text" >

</body>

"""

###初始化

textParse = pq(html)

# urlParse = pq('http://www.baidu.com') #1

# urlParse = pq(url='http://www.baidu.com') #2

# fileParse = pq(filename="L:\demo.html")

##获取

result = textParse('h2').text()

print(result)

result2= textParse('div').html()

print(result2)

result3=textParse(".p1").text()

print(result3)

result4=textParse("#user").attr("type")

print(result4)

result5=textParse("p,div").text()

print(result5)

result6=textParse("div a").attr.href

print(result6)

result7=textParse("[class='p1']").text()

print(result7)

result8=textParse("p:last").text()

print(result8)

result9=textParse("div").find("a").text()

print(result9)

result12=textParse("p").filter(".p1").text()

print(result12)

result10=textParse("div").children()

print(result10)

result11=textParse("a").parent()

print(result11)

6.元素的文本、属性等内容的获取：

attr(attribute):获取属性

result2=textParse("a").attr("href")

attr.xxxx:获取属性xxxx

result21=textParse("a").attr.href

result22=textParse("a").attr.class_

text():获取文本，子元素中也仅仅返回文本

result1=textParse("a").text()

html():获取html,功能与text类似,但返回html标签

result3=textParse("div").html()

补充1：

元素的迭代：如果返回的结果是多个元素，如果想迭代出每个元素，可以使用items():

补充2：pyquery是jquery的python化，语法基本都是相通的，想了解更多，可以参考jquery。

pyquery执行DOM操作、css操作：

DOM操作：

add_class():增加class

remove_class():移除class

remove():删除指定元素

from pyquery import PyQuery as pq

html="""

<html>

<head>

</head>

<body>

<h2>This is a heading</h2>

<p id="p1" class="p1">This is a paragraph.</p>

<p class="p2">This is another paragraph.</p>

<div style="color:blue">

123

<a class="ca" href="http://www.baidu.com">hello</a>

</div>

<input type="Button" >

<input id="user" type="text" >

</body>

"""

textParse=pq(html)

textParse('a').add_class("c1")

print(textParse('a').attr("class"))

textParse('a').remove_class("c1")

print(textParse('a').attr("class"))

print(textParse('div').html())

textParse('div').remove("a")

print(textParse('div').html())

css操作：

attr()：设置属性
- 设置格式：attr("属性名","属性值")
css()：设置css
- 设置格式1:css("css样式","样式值")
- 格式2：css({"样式1":"样式值","样式2":"样式值"})

from pyquery import PyQuery as pq

html="""

<html>

<head>

</head>

<body>

<h2>This is a heading</h2>

<p id="p1" class="p1">This is a paragraph.</p>

<p class="p2">This is another paragraph.</p>

<div style="color:blue">

123

<a class="ca" href="http://www.baidu.com">hello</a>

</div>

<input type="Button" >

<input id="user" type="text" >

</body>

"""

textParse=pq(html)

textParse('a').attr("name","hehe")

print(textParse('a').attr("name"))

textParse('a').css("color","white")

textParse('a').css({"background-color":"black","postion":"fixed"})

print(textParse('a').attr("style"))

这些操作什么时候会被用到：

【有时候可能会将数据样式处理一下再存储下来，就需要用到,比如我获取下来的数据样式我不满意，可以自定义成我自己的格式】

【有时候需要逐层清理再筛选出指定结果，比如<div>123<a></a></div>中，如果仅仅想要获取123就可以先删除<a>再获取】

一个利用pyquery爬取豆瓣新书的例子:

先使用审查元素,定位目标元素

确认爬取信息

要注意的是，豆瓣新书是有一些分在后面页的，实际上目标应该是li的上一级ul：

使用PyQuery筛选出结果：

from pyquery import PyQuery as pq

urlParse=pq(url="https://book.douban.com/")

info=urlParse("div.carousel ul li div.info")

file=open("demo.txt","w",encoding="utf8")

for i in info.items():

    title=i.find("div.title")

    author=i.find("span.author")

    abstract=i.find(".abstract")

    file.write("标题:"+title.text()+"\n")

    file.write("作者:"+author.text()+"\n")

    file.write("概要:"+abstract.text()+"\n")

    file.write("-----------------\n")

    print("\n")

file.close()

python爬虫之pyquery学习的更多相关文章

Python爬虫之PyQuery使用（六）
Python爬虫之PyQuery使用 PyQuery简介 pyquery能够通过选择器精确定位 DOM 树中的目标并进行操作.pyquery相当于jQuery的python实现,可以用于解析HTML网 ...
专业的“python爬虫工程师”需要学习哪些知识？
学到哪种程度暂且把目标定位初级爬虫工程师,简单列一下吧: (必要部分) 熟悉多线程编程.网络编程.HTTP协议相关开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到) 反爬相关,cookie. ...
python爬虫之Scrapy学习
在爬虫的路上,学习scrapy是一个必不可少的环节.也许有好多朋友此时此刻也正在接触并学习scrapy,那么很好,我们一起学习.开始接触scrapy的朋友可能会有些疑惑,毕竟是一个框架,上来不知从何学 ...
python爬虫神器PyQuery的使用方法
你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些 ...
Python 爬虫如何入门学习？
"入门"是良好的动机,但是可能作用缓慢.如果你手里或者脑子里有一个项目,那么实践起来你会被目标驱动,而不会像学习模块一样慢慢学习. 另外如果说知识体系里的每一个知识点是图里的点,依 ...
python爬虫之PyQuery的基本使用
PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...
python爬虫解析库学习
一.xpath库使用: 1.基本规则: 2.将文件转为HTML对象: html = etree.parse('./test.html', etree.HTMLParser()) result = et ...
【Python爬虫】PyQuery解析库
PyQuery解析库阅读目录初始化基本CSS选择器查找元素遍历获取信息 DOM操作伪类选择器 PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎 ...
Python爬虫之pyquery库的基本使用
# 字符串初始化 html = ''' <div> <ul> <li class = "item-0">first item</li> ...

随机推荐

机器学习基石笔记：13 Hazard of Overfitting
泛化能力差和过拟合: 引起过拟合的原因: 1)过度VC维(模型复杂度高)------确定性噪声: 2)随机噪声: 3)有限的样本数量N. 具体实验来看模型复杂度Qf/确定性噪声.随机噪声sigma2. ...
Java Web(三) 会话机制，Cookie和Session详解（转载）
https://www.cnblogs.com/whgk/p/6422391.html 很大一部分应该知道什么是会话机制,也能说的出几句,我也大概了解一点,但是学了之后几天不用,立马忘的一干二净,原因 ...
WebView使用_WebView监听网页下载_DownloadManager使用
最近在做一个较简单的项目:通过一个webview来显示一个网页的App 这个网页有下载的功能,关于这一功能需要用到两个知识点: 1.webview监听网页的下载链接.(webview默认情况下是没有开 ...
使用webpack将es6 es7转换成es2015
第一步:安装模块化包 cnpm install --save-dev babel-core babel-loader babel-preset-es2015 babel-preset-react 第二 ...
salesforce lightning零基础学习(七) 列表展示数据时两种自定义编辑页面
上一篇Lightning内容描述的是LDS,通过LDS可以很方便的实例化一个对象的数据信息.当我们通过列表展示数据需要编辑时,我们常使用两种方式去处理编辑页面:Pop Up Window弹出修改详情以 ...
java-Timer类使用方法
Timer: public Timer()创建一个新计时器.相关的线程不作为守护程序运行. 方法摘要: void schedule(TimerTask task, Date time) ...
从零开始学 Web 之 DOM（三）innerText与innerHTML、自定义属性
大家好,这里是「 Daotin的梦呓」从零开始学 Web 系列教程.此文首发于「 Daotin的梦呓」公众号,欢迎大家订阅关注.在这里我会从 Web 前端零基础开始,一步步学习 Web 相关的知识 ...
SQL 必知必会·笔记<1>了解SQL
1.1 基本概念数据库(DataBase) 保存有组织的数据库的容器(通常是一个文件或一组文件). 表(Table) 某种特定数据类型的结构化清单. 模式(Schema) 关于数据库和表的布局及特性 ...
MongoDB-Oplog详解
MongoDB Oplog 详解 Oplog 概念 Oplog 是用于存储 MongoDB 数据库所有数据的操作记录的(实际只记录增删改和一些系统命令操作,查是不会记录的),有点类似于 mysql 的 ...
用Redis作Mysql数据库缓存
使用redis作mysql数据库缓存时,需要考虑两个问题: 1.确定用何种数据结构存储来自Mysql的数据; 2.在确定数据结构之后,用什么标识作为该数据结构的键. 直观上看,Mysql中的数据都是按 ...

python爬虫之pyquery学习

相关内容：