使用pyquery

简单举例

 from pyquery import PyQuery as pq

 html = '''

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </ul>

 </div>

 '''

 doc = pq(html)

 print(doc)

 # 输出：

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </li></ul>

 </div>

字符串

 from pyquery import PyQuery as pq

 import requests

 # doc1 与 doc2 功能相同

 doc1 = pq(url='https://www.cnblogs.com/liyihua/')

 print(doc1('title'))

 doc2 = pq(requests.get('https://www.cnblogs.com/liyihua/').text)

 print(doc1('title'))

 # 输出：

 <title>李亦华 - 博客园</title>&#13;

 <title>李亦华 - 博客园</title>&#13;

URL

 from pyquery import PyQuery as pq

 doc = pq(filename='test.html')

 print(doc('li'))

 # 输出：

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </li>

 # 文件内容：

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </ul>

 </div>

文件

基本CSS选择器

 from pyquery import PyQuery as pq

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = pq(html)

 print(doc('#container .list li'))

 print(

     type(

         doc('#container .list li')

     )

 )

 # 输出：

 <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

 <class 'pyquery.pyquery.PyQuery'>

查找节点

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 items = doc('.list')

 print(

     type(items),

     items,

     sep='\n'

 )

 print(

     type(items.find('li')),

     items.find('li'),

     sep='\n'

 )

 # 输出：

 <class 'pyquery.pyquery.PyQuery'>

 <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

子孙节点----find()方法

# find()方法查找的是所有子孙节点，如果只查找子节点，可以使用children()方法

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 items = doc('.list')

 print(items, '\n')

 print(

     type(items.parent()),

     items.parent(),

     sep='\n'

 )

 # 输出：

 <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 <class 'pyquery.pyquery.PyQuery'>

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

父节点----parent()方法

parents(selector=None)

parent(selector=None)

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 # 选择class为list的节点内部class为item-0和active的节点

 items = doc('.list .item-0.active')

 print(

     type(items.siblings()),

     items.siblings(),

     sep='\n'

 )

 print("\n", items.siblings('.active'))

 # 输出：

 <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0">first item</li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

  <li class="item-1 active"><a href="link4.html">fourth item</a></li>

兄弟节点----siblings()方法

遍历

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 lis = doc('li').items()             # 调用items()方法，得到一个生成器

 for li in lis:

     print(

         li,

         type(li)

     )

 # 输出：

 <li class="item-0">first item</li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1"><a href="link2.html">second item</a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1 active"><a href="link4.html">fourth item</a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0"><a href="link5.html">fifth item</a></li>

       <class 'pyquery.pyquery.PyQuery'>

遍历----items()

获取信息

获取属性

attr()方法获取属性

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 a = doc('.item-0.active a')

 print(

     a,

     type(a),

     a.attr('href'),             # 也可以用a.attr.href，两者作用相同

     sep='\n'

 )

 # 输出：

 <a href="link3.html"><span class="bold">third item</span></a>

 <class 'pyquery.pyquery.PyQuery'>

 link3.html

# 当返回结果包含多个节点时，调用attr()方法，只会得到第一个节点的属性。如果想获取所有返回的节点的属性，就要用到遍历了

获取文本

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('li')

 print(

     li.html(),                  # 获取节点的内部文本

     li.text(),                  # 获取节点文本，返回结果是纯文字内容

     type(li.text()),

     sep='\n'

 )

 # 输出：

 first item

 first item second item third item fourth item fifth item

 <class 'str'>

节点操作

add_class() 和 remove_class() ---- 添加class、移除class

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('.item-0.active')

 print(li)

 print(li.remove_class('active'))

 print(li.add_class('active'))

 # 输出：

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

attr、text 和 html

# attr(*args, **kwargs) ---- Attributes manipulation
# text(value=no_default, **kwargs) ---- Get or set the text representation of sub nodes.
# html(value=no_default, **kwargs) ---- Get or set the html representation of sub nodes.

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('.item-0.active')

 print(li)

 li.attr('name', 'link')         # 添加属性name，属性值为link

 print(li)

 li.text('change item')          # 将节点内部的内容改为'change item'

 print(li)

 li.html('<span>change item</span>')         # 将节点内部的内容改为'<span>change item</span>'

 print(li)

 # 输出：

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active" name="link">change item</li>

 <li class="item-0 active" name="link"><span>change item</span></li>

remove()----删除节点

 from pyquery import PyQuery

 html = '''

 <div class="LeeHua">

 LiYihua

 <ul class="201802004731">liyihua</ul>

 </div>

 '''

 doc = PyQuery(html)

 Leehua = doc('.LeeHua')

 print("移除节点ul前的输出：\n"+Leehua.text())

 Leehua.find('ul').remove()

 print("移除节点ul后的输出：\n"+Leehua.text())

 # 输出：

 移除节点ul前的输出：

 LiYihua

 liyihua

 移除节点ul后的输出：

 LiYihua

伪类选择器

示例：

 from pyquery import PyQuery

 html = '''

 <div class="wrap">

     <div id="container">

         <ul class="list">

             <li class="item-0">first item</li>

             <li class="item-1"><a href="link2.html">second item</a></li>

             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

             <li class="item-1 active"><a href="link4.html">fourth item</a></li>

             <li class="item-0"><a href="link5.html">fifth item</a></li>

         </ul>

     </div>

 </div>

 '''

 doc = PyQuery(html)

 # 选择属于父元素的第一个子元素的每个 <li> 元素。

 li = doc('li:first-child')

 print(li)

 # 选择属于父元素的最后一个子元素的每个 <li> 元素。

 li = doc('li:last-child')

 print(li)

 # 选择属于其父元素的第二个子元素的每个 <li> 元素

 li = doc('li:nth-child(2)')

 print(li)

 # 选择属于其父元素的最后两个子元素的每个 <li> 元素

 li = doc('li:gt(2)')

 print(li)

 # 选择属于父元素的第偶个子元素的每个 <li> 元素。

 li = doc('li:nth-child(2n)')

 print(li)

 # 选择包含'second'的每个元素

 li = doc('li:contains(second)')

 print(li)

 # 输出：

 <li class="item-0">first item</li>

 <li class="item-0"><a href="link5.html">fifth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-1 active"><a href="link4.html">fourth item</a></li>

             <li class="item-0"><a href="link5.html">fifth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

             <li class="item-1 active"><a href="link4.html">fourth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

CSS 选择器的用法：http://www.w3school.com.cn/cssref/css_selectors.asp

使用pyquery的更多相关文章

pyquery的问题
在使用pyquery时发现一些问题, 1.爬取的html中如果有较多的错误时,不能很好的补全. 2.如果要获取某个class中的内容时,如果内容太多不能取完整!只能取一部分. 这个在现在的最新版本中还 ...
python爬虫神器PyQuery的使用方法
你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些 ...
windows下python安装pyquery
安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...
Python开发包推荐系列之xml、html解析器PyQuery
使用python,喜欢她的简洁是一方面,另外就是它有着丰富的开发包好用又方便接下来会给大家推荐一系列很赞的开发包. 在解析html.xml过程中,我们有不少的包可以用.比如bs.lxml.xmlt ...
python - PyQuery
偶尔的机会,知道这么个扩展,手贱翻了下文档,发现似乎挺有意思,遂记录一二. what: 这是一个python版本的jquery,而且是后端执行的,至少官方是这么说的: pyquery allows y ...
【pyQuery】抓取startup news首页
#! /usr/bin/python # coding: utf-8 from pyquery import PyQuery c=PyQuery('http://news.dbanotes.net/' ...
【pyQuery分析实例】分析体育网冠军联盟比赛成绩
目标地址:http://www.espncricinfo.com/champions-league-twenty20-2012/engine/match/574265.html liz@nb-liz: ...
【PyQuery】PyQuery总结
pyquery库是jQuery的Python实现,可以用于解析HTML网页内容, 官方文档地址是:http://packages.python.org/pyquery/. 二.使用方法 ? 1 fro ...
win7下python安装pyquery
安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...
Python抓取页面中超链接(URL)的三中方法比较(HTMLParser、pyquery、正则表达式) <转>
Python抓取页面中超链接(URL)的3中方法比较(HTMLParser.pyquery.正则表达式) HTMLParser版: #!/usr/bin/python # -*- coding: UT ...

随机推荐

.Net Core 商城微服务项目系列（十五）: 构建定时任务调度和消息队列管理系统
一.系统描述嗨,好久不见各位老哥,最近有点懒,技术博客写的太少了,因为最近在写小说,写的顺利的话说不定就转行了,哈哈哈哈哈哈哈哈哈. 今天要介绍的是基于.Net Core的定时任务调度和消息队列管理 ...
Python Excel操作——xlrd、xlwd
读取 1.导入模块 import xlrd 2.打开Excel文件读取数据 data = xlrd.open_workbook('excel.xls') 3.获取一个工作表 1 table = dat ...
CSS技巧 (1) · 结构和布局
前言这一篇主要是总结关于结构和布局的一些技巧,不管什么,一个网页上来,最重要的是先确定他的结构和布局,实现基本的布局之后,我们再进行局部的优化和交互特效. 这一篇主要讲关于自适应内部元素的内 ...
BERT论文解读
本文尽量贴合BERT的原论文,但考虑到要易于理解,所以并非逐句翻译,而是根据笔者的个人理解进行翻译,其中有一些论文没有解释清楚或者笔者未能深入理解的地方,都有放出原文,如有不当之处,请各位多多包含,并 ...
ActiveMQ学习总结------入门篇01
注:*这篇博文文章主要介绍ActiveMQ是什么原理性的内容和如何安装和简易操作一. ActiveMQ 简介 1 ActiveMQ是什么呢?看起来好碉堡的东西哇! ActiveMQ 是 Apach ...
SpringBoot-ElasticJob封装快速上手使用(分布式定时器)
elastic-job-spring-boot qq交流群:812321371 1 简介 Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Ela ...
python编程基础之一
编译:将全部代码转成二进制可执行文件速度快, c,c++等解释:一行一行的将代码解释速度慢 python,php等 python简介:Guido van Rossum 1989年常用的pyth ...
【JZOJ5248】花花的聚会
Description 注意测试数据中道路是到的单向道路,与题面恰好相反. Input Output Sample Input 7 7 1 3 1 2 6 7 3 6 3 5 3 4 7 2 3 ...
drf框架中认证与权限工作原理及设置
0909自我总结 drf框架中认证与权限工作原理及设置一.概述 1.认证工作原理返回None => 游客返回user,auth => 登录用户抛出异常 => 非法用户前台 ...
caffe中softmax loss源码阅读
(1) softmax loss <1> softmax loss的函数形式为: (1) zi为softmax的输入,f(zi)为softmax的输出. <2> sof ...

使用pyquery

简单举例

基本CSS选择器

查找节点

遍历

获取信息

获取属性

获取文本

节点操作

add_class() 和 remove_class() ---- 添加class、移除class

attr、text 和 html

remove()----删除节点

伪类选择器

使用pyquery的更多相关文章

随机推荐

热门专题