使用pyquery

简单举例

 from pyquery import PyQuery as pq

 html = '''

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </ul>

 </div>

 '''

 doc = pq(html)

 print(doc)

 # 输出：

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </li></ul>

 </div>

字符串

 from pyquery import PyQuery as pq

 import requests

 # doc1 与 doc2 功能相同

 doc1 = pq(url='https://www.cnblogs.com/liyihua/')

 print(doc1('title'))

 doc2 = pq(requests.get('https://www.cnblogs.com/liyihua/').text)

 print(doc1('title'))

 # 输出：

 <title>李亦华 - 博客园</title>&#13;

 <title>李亦华 - 博客园</title>&#13;

URL

 from pyquery import PyQuery as pq

 doc = pq(filename='test.html')

 print(doc('li'))

 # 输出：

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </li>

 # 文件内容：

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </ul>

 </div>

文件

基本CSS选择器

 from pyquery import PyQuery as pq

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = pq(html)

 print(doc('#container .list li'))

 print(

     type(

         doc('#container .list li')

     )

 )

 # 输出：

 <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

 <class 'pyquery.pyquery.PyQuery'>

查找节点

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 items = doc('.list')

 print(

     type(items),

     items,

     sep='\n'

 )

 print(

     type(items.find('li')),

     items.find('li'),

     sep='\n'

 )

 # 输出：

 <class 'pyquery.pyquery.PyQuery'>

 <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

子孙节点----find()方法

# find()方法查找的是所有子孙节点，如果只查找子节点，可以使用children()方法

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 items = doc('.list')

 print(items, '\n')

 print(

     type(items.parent()),

     items.parent(),

     sep='\n'

 )

 # 输出：

 <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 <class 'pyquery.pyquery.PyQuery'>

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

父节点----parent()方法

parents(selector=None)

parent(selector=None)

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 # 选择class为list的节点内部class为item-0和active的节点

 items = doc('.list .item-0.active')

 print(

     type(items.siblings()),

     items.siblings(),

     sep='\n'

 )

 print("\n", items.siblings('.active'))

 # 输出：

 <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0">first item</li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

  <li class="item-1 active"><a href="link4.html">fourth item</a></li>

兄弟节点----siblings()方法

遍历

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 lis = doc('li').items()             # 调用items()方法，得到一个生成器

 for li in lis:

     print(

         li,

         type(li)

     )

 # 输出：

 <li class="item-0">first item</li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1"><a href="link2.html">second item</a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1 active"><a href="link4.html">fourth item</a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0"><a href="link5.html">fifth item</a></li>

       <class 'pyquery.pyquery.PyQuery'>

遍历----items()

获取信息

获取属性

attr()方法获取属性

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 a = doc('.item-0.active a')

 print(

     a,

     type(a),

     a.attr('href'),             # 也可以用a.attr.href，两者作用相同

     sep='\n'

 )

 # 输出：

 <a href="link3.html"><span class="bold">third item</span></a>

 <class 'pyquery.pyquery.PyQuery'>

 link3.html

# 当返回结果包含多个节点时，调用attr()方法，只会得到第一个节点的属性。如果想获取所有返回的节点的属性，就要用到遍历了

获取文本

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('li')

 print(

     li.html(),                  # 获取节点的内部文本

     li.text(),                  # 获取节点文本，返回结果是纯文字内容

     type(li.text()),

     sep='\n'

 )

 # 输出：

 first item

 first item second item third item fourth item fifth item

 <class 'str'>

节点操作

add_class() 和 remove_class() ---- 添加class、移除class

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('.item-0.active')

 print(li)

 print(li.remove_class('active'))

 print(li.add_class('active'))

 # 输出：

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

attr、text 和 html

# attr(*args, **kwargs) ---- Attributes manipulation
# text(value=no_default, **kwargs) ---- Get or set the text representation of sub nodes.
# html(value=no_default, **kwargs) ---- Get or set the html representation of sub nodes.

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('.item-0.active')

 print(li)

 li.attr('name', 'link')         # 添加属性name，属性值为link

 print(li)

 li.text('change item')          # 将节点内部的内容改为'change item'

 print(li)

 li.html('<span>change item</span>')         # 将节点内部的内容改为'<span>change item</span>'

 print(li)

 # 输出：

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active" name="link">change item</li>

 <li class="item-0 active" name="link"><span>change item</span></li>

remove()----删除节点

 from pyquery import PyQuery

 html = '''

 <div class="LeeHua">

 LiYihua

 <ul class="201802004731">liyihua</ul>

 </div>

 '''

 doc = PyQuery(html)

 Leehua = doc('.LeeHua')

 print("移除节点ul前的输出：\n"+Leehua.text())

 Leehua.find('ul').remove()

 print("移除节点ul后的输出：\n"+Leehua.text())

 # 输出：

 移除节点ul前的输出：

 LiYihua

 liyihua

 移除节点ul后的输出：

 LiYihua

伪类选择器

示例：

 from pyquery import PyQuery

 html = '''

 <div class="wrap">

     <div id="container">

         <ul class="list">

             <li class="item-0">first item</li>

             <li class="item-1"><a href="link2.html">second item</a></li>

             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

             <li class="item-1 active"><a href="link4.html">fourth item</a></li>

             <li class="item-0"><a href="link5.html">fifth item</a></li>

         </ul>

     </div>

 </div>

 '''

 doc = PyQuery(html)

 # 选择属于父元素的第一个子元素的每个 <li> 元素。

 li = doc('li:first-child')

 print(li)

 # 选择属于父元素的最后一个子元素的每个 <li> 元素。

 li = doc('li:last-child')

 print(li)

 # 选择属于其父元素的第二个子元素的每个 <li> 元素

 li = doc('li:nth-child(2)')

 print(li)

 # 选择属于其父元素的最后两个子元素的每个 <li> 元素

 li = doc('li:gt(2)')

 print(li)

 # 选择属于父元素的第偶个子元素的每个 <li> 元素。

 li = doc('li:nth-child(2n)')

 print(li)

 # 选择包含'second'的每个元素

 li = doc('li:contains(second)')

 print(li)

 # 输出：

 <li class="item-0">first item</li>

 <li class="item-0"><a href="link5.html">fifth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-1 active"><a href="link4.html">fourth item</a></li>

             <li class="item-0"><a href="link5.html">fifth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

             <li class="item-1 active"><a href="link4.html">fourth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

CSS 选择器的用法：http://www.w3school.com.cn/cssref/css_selectors.asp

使用pyquery的更多相关文章

pyquery的问题
在使用pyquery时发现一些问题, 1.爬取的html中如果有较多的错误时,不能很好的补全. 2.如果要获取某个class中的内容时,如果内容太多不能取完整!只能取一部分. 这个在现在的最新版本中还 ...
python爬虫神器PyQuery的使用方法
你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些 ...
windows下python安装pyquery
安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...
Python开发包推荐系列之xml、html解析器PyQuery
使用python,喜欢她的简洁是一方面,另外就是它有着丰富的开发包好用又方便接下来会给大家推荐一系列很赞的开发包. 在解析html.xml过程中,我们有不少的包可以用.比如bs.lxml.xmlt ...
python - PyQuery
偶尔的机会,知道这么个扩展,手贱翻了下文档,发现似乎挺有意思,遂记录一二. what: 这是一个python版本的jquery,而且是后端执行的,至少官方是这么说的: pyquery allows y ...
【pyQuery】抓取startup news首页
#! /usr/bin/python # coding: utf-8 from pyquery import PyQuery c=PyQuery('http://news.dbanotes.net/' ...
【pyQuery分析实例】分析体育网冠军联盟比赛成绩
目标地址:http://www.espncricinfo.com/champions-league-twenty20-2012/engine/match/574265.html liz@nb-liz: ...
【PyQuery】PyQuery总结
pyquery库是jQuery的Python实现,可以用于解析HTML网页内容, 官方文档地址是:http://packages.python.org/pyquery/. 二.使用方法 ? 1 fro ...
win7下python安装pyquery
安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...
Python抓取页面中超链接(URL)的三中方法比较(HTMLParser、pyquery、正则表达式) <转>
Python抓取页面中超链接(URL)的3中方法比较(HTMLParser.pyquery.正则表达式) HTMLParser版: #!/usr/bin/python # -*- coding: UT ...

随机推荐

【ASP.NET基础--MVC】MVC视图基础语法学习
初步接触.net MVC的视图语法,很多东西都不太熟悉,感觉跟之前的aspx以及html都有一些区别,最近看别人的代码,一边看一边研究,现把学到的东西在这里记录一下,以便日后翻阅. 第一部分:基础知识 ...
bugku—Web_Writeup
Bugku_Web_Writeup Writeup略显粗糙~~ 部分Web题没有得到最后的flag~只是有了一个简单的思路~~ Web1: 如上,打开题目答题网址后就会弹出一张图片,看图片就可以发现是 ...
for循环用腻了，试试列表生成式。
在编写程序或者查看别人的程序时,经常会遇到列表生成式,这个使用起来并不复杂,但是非常有用,使我们的代码更加简洁灵活.很多python使用者并不太会使用它.今天,就给大家详细讲解列表生成式和生成器表达式 ...
Java基础学习(八) - 多线程
理解线程进程是指一个内存中运行的应用程序,系统运行一个程序即是一个进程从创建,运行,结束的过程. 线程是进程中的一个执行单元,负责当前进程中程序的执行,一个进程中至少有一个线程. 多线程的特点是并发 ...
HTML5 video视频字幕的使用和制作
一.video支持视频格式: 以下是三种最常用的格式 1. ogg格式:带有Theora视频编码(免费)+Vorbis音频编码的Ogg文件(免费) 支持的浏览器:firefox.chrome.oper ...
树莓派3B/3B+ 清华镜像系统和安装中文输入法Fcitx及Google拼音输入法
你还在为树莓派无法安装中文输入法而到处找教程吗? 你还在为树莓派每次下载都要远隔重洋获取资源,龟速下载而烦恼吗? 为了解决这个问题,在这篇树莓派教程中,我将手把手叫你怎样安装清华镜像系统和中文输入法 ...
Java中获取刚插入数据库中的数据Id（主键，自动增长）
public int insert(String cName, String ebrand, String cGender) { String sql = "insert into Clot ...
一个最简单的springboot
现在项目里使用springboot,平时开发并不太关注springboot的一些基本配置,现在想整理一下springboot相关内容. 实际开发中都会因为各种业务需求在springboot上添加很多东 ...
Ubuntu cd后自动执行ls或ll
编辑 .bashrc 文件 sudo gedit ~/.bashrc 在最后一行加入 cdAndList() { cd "${1}"; ls; } alias cd=cdAndLi ...
Windows 服务程序(一)
Windows 服务程序简介: Windows服务应用程序是一种需要长期运行的应用程序,它对于服务器环境特别适合. 它没有用户界面,并且也不会产生任何可视输出.任何用户消息都会被写进Windows事件 ...

使用pyquery

简单举例

基本CSS选择器

查找节点

遍历

获取信息

获取属性

获取文本

节点操作

add_class() 和 remove_class() ---- 添加class、移除class

attr、text 和 html

remove()----删除节点

伪类选择器

使用pyquery的更多相关文章

随机推荐

热门专题