PyQuery是一个类似于jQuery的Python库，也可以说是jQuery在Python上的实现，能够以 jQuery 的语法来操作解析 HTML 文档，易用性和解析速度都很好。

例如，一段豆瓣html片段http://movie.douban.com/subject/3530403/

 <div id="info">

         <span><span class='pl'>导演</span>: <a href="/celebrity/1047989/" rel="v:directedBy">汤姆·提克威</a> / <a href="/celebrity/1161012/" rel="v:directedBy">拉娜·沃卓斯基</a> / <a href="/celebrity/1013899/" rel="v:directedBy">安迪·沃卓斯基</a></span><br/>

         <span><span class='pl'>编剧</span>: <a href="/celebrity/1047989/">汤姆·提克威</a> / <a href="/celebrity/1013899/">安迪·沃卓斯基</a> / <a href="/celebrity/1161012/">拉娜·沃卓斯基</a></span><br/>

         <span><span class='pl'>主演</span>: <a href="/celebrity/1054450/" rel="v:starring">汤姆·汉克斯</a> / <a href="/celebrity/1054415/" rel="v:starring">哈莉·贝瑞</a> / <a href="/celebrity/1019049/" rel="v:starring">吉姆·布劳德本特</a> / <a href="/celebrity/1040994/" rel="v:starring">雨果·维文</a> / <a href="/celebrity/1053559/" rel="v:starring">吉姆·斯特吉斯</a> / <a href="/celebrity/1057004/" rel="v:starring">裴斗娜</a> / <a href="/celebrity/1025149/" rel="v:starring">本·卫肖</a> / <a href="/celebrity/1049713/" rel="v:starring">詹姆斯·达西</a> / <a href="/celebrity/1027798/" rel="v:starring">周迅</a> / <a href="/celebrity/1019012/" rel="v:starring">凯斯·大卫</a> / <a href="/celebrity/1201851/" rel="v:starring">大卫·吉雅西</a> / <a href="/celebrity/1054392/" rel="v:starring">苏珊·萨兰登</a> / <a href="/celebrity/1003493/" rel="v:starring">休·格兰特</a></span><br/>

         <span class="pl">类型:</span> <span property="v:genre">剧情</span> / <span property="v:genre">科幻</span> / <span property="v:genre">悬疑</span><br/>

         <span class="pl">官方网站:</span> <a href="http://cloudatlas.warnerbros.com" rel="nofollow" target="_blank">cloudatlas.warnerbros.com</a><br/>

         <span class="pl">制片国家/地区:</span> 德国 / 美国 / 香港 / 新加坡<br/>

         <span class="pl">语言:</span> 英语<br/>

         <span class="pl">上映日期:</span> <span property="v:initialReleaseDate" content="2013-01-31(中国大陆)">2013-01-31(中国大陆)</span> / <span property="v:initialReleaseDate" content="2012-10-26(美国)">2012-10-26(美国)</span><br/>

         <span class="pl">片长:</span> <span property="v:runtime" content="134">134分钟(中国大陆)</span> / 172分钟(美国)<br/>

         <span class="pl">IMDb链接:</span> <a href="http://www.imdb.com/title/tt1371111" target="_blank" rel="nofollow">tt1371111</a><br>

         <span class="pl">官方小站:</span>

         <a href="http://site.douban.com/202494/" target="_blank">电影《云图》</a>

 </div>
from pyquery import PyQuery as pq

doc=pq(url='http://movie.douban.com/subject/3530403/')

data=doc('.pl')

for i in data:

    print pq(i).text()

　输出

导演

编剧

主演

类型:

官方网站:

制片国家/地区:

语言:

上映日期:

片长:

IMDb链接:

官方小站:

　　用起来很像jQuery吧。

用法

用户可以使用PyQuery类从字符串、lxml对象、文件或者url来加载xml文档:

>>> from pyquery import PyQuery as pq

>>> from lxml import etree

>>> doc=pq("<html></html>")

>>> doc=pq(etree.fromstring("<html></html>"))

>>> doc=pq(filename=path_to_html_file)

>>> doc=pq(url='http://movie.douban.com/subject/3530403/')

　　可以像jQuery一样选择对象了

>>> doc('.pl')

[<span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span#rateword.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <span.pl>, <p.pl>]

　　这样，class为'pl'的对象就全部选择出来了。

不过在使用迭代时需要对文本进行重新封装：

for para in doc('.pl'):

    para=pq(para)

    print para.text()

导演

编剧

主演

类型:

官方网站:

制片国家/地区:

语言:

上映日期:

片长:

IMDb链接:

官方小站:

　　这里得到的text是unicode码，如果要写入文件需要编码为字符串。

用户可以使用jquery提供的一些伪类（但还不支持css）来进行操作，诸如：

>>> doc('.pl:first')

[<span.pl>]

>>> print  doc('.pl:first').text()

导演

Attributes

获取html元素的属性

>>> p=pq('<p id="hello" class="hello"></p>')('p')

>>> p.attr('id')

'hello'

>>> p.attr.id

'hello'

>>> p.attr['id']

'hello'

　　赋值

>>> p.attr.id='plop'

>>> p.attr.id

'plop'

>>> p.attr['id']='ola'

>>> p.attr.id

'ola'

>>> p.attr(id='hello',class_='hello2')

[<p#hello.hell0>]

Traversing

过滤

>>> d=pq('<p id="hello" class="hello"><a/>hello</p><p id="test"><a/>world</p>')

>>> d('p').filter('.hello')

[<p#hello.hello>]

>>> d('p').filter('#test')

[<p#test>]

>>> d('p').filter(lambda i:i==1)

[<p#test>]

>>> d('p').filter(lambda i:i==0)

[<p#hello.hello>]

>>> d('p').filter(lambda i:pq(this).text()=='hello')

[<p#hello.hello>]

　　按照顺序选择

>>> d('p').eq(0)

[<p#hello.hello>]

>>> d('p').eq(1)

[<p#test>]

　　选择内嵌元素

>>> d('p').eq(1).find('a')

[<a>]

　　选择父元素

>>> d=pq('<p><span><em>Whoah!</em></span></p><p><em> there</em></p>')

>>> d('p').eq(1).find('em')

[<em>]

>>> d('p').eq(1).find('em').end()

[<p>]

>>> d('p').eq(1).find('em').end().text()

'there'

>>> d('p').eq(1).find('em').end().end()

[<p>, <p>]

　　

下载：http://pypi.python.org/pypi/pyquery

文档：http://packages.python.org/pyquery/

选择器总结：http://www.cnblogs.com/onlys/articles/jQuery.html

Python解析HTML的开发库pyquery的更多相关文章

  1. 深入学习python解析并读取PDF文件内容的方法

    这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...

  2. python解析HTML之:PyQuery库的介绍与使用

    本篇大部分转载于https://www.jianshu.com/p/c07f7cd1b548 先放自已自己解析techweb一个网站图片的代码 from pyquery import PyQuery ...

  3. Python开发库

    在我多年的 Python 编程经历以及在 Github 上的探索漫游过程中,我发掘到一些很不错的 Python 开发包,这些包大大简化了开发过程,而本文就是为了向大家推荐这些开发包. 请注意我特别排除 ...

  4. python爬虫---从零开始（五）pyQuery库

    什么是pyQuery: 强大又灵活的网页解析库.如果你觉得正则写起来太麻烦(我不会写正则),如果你觉得BeautifulSoup的语法太难记,如果你熟悉JQuery的语法,那么PyQuery就是你最佳 ...

  5. python调用c++/c 共享库，开发板上编译的一些坑！

    1.对于python,ctypes只能load动态库,但现在我的对象是一个静态库,而且我没有源代码,静态库在编译过程中没有加--fPIC参数,所以我也没办法将其编译为动态库,有没有什么方法在pytho ...

  6. [ Python ] Flask 基于 Web开发 大型程序的结构实例解析

    作为一个编程入门新手,Flask是我接触到的第一个Web框架.想要深入学习,就从<FlaskWeb开发:基于Python的Web应用开发实战>这本书入手,本书由于是翻译过来的中文版,理解起 ...

  7. python解析库

    BeautifulSoup示例: #!/usr/bin/env python # -*- coding: utf-8 -*- # author: imcati html_doc = "&qu ...

  8. python 不得不知的第三方库以及常用安装包

    mysql 驱动$ sudo pip install MySQL-python redis 数据库$ sudo pip install redis django 全文搜索$ sudo pip inst ...

  9. Python pyspider 安装与开发

    PySpider 简介 PySpider是一个国人编写的强大的网络爬虫系统并带有强大的WebUI.采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器.任务监视器, ...

随机推荐

  1. RandomAccessFile的使用

    package com.lk.C; import java.io.IOException; import java.io.RandomAccessFile; public class RandomAc ...

  2. 【转】使用断言NSAssert()调试程序错误

    NSAssert()只是一个宏,用于开发阶段调试程序中的Bug,通过为NSAssert()传递条件表达式来断定是否属于Bug,满足条件返回真值,程序继续运行,如果返回假值,则抛出异常,并切可以自定义异 ...

  3. 重构10-Extract Method（提取方法）

    我们要介绍的重构是提取方法.这个重构极其简单但却大有裨益.首先,将逻辑置于命名良好的方法内有助于提高代码的可读性.当方法的名称可以很好地描述这部分代码的功能时,可以有效地减少其他开发者的研究时间.假设 ...

  4. css初接触

    一.简介:CSS 即 级联样式表 . 它是一种用来表现HTML(标准通用标记语言的一个应用)或XML(标准通用标记语言的一个子集)等文件样式的计算机语言. css是能够真正做到网页表现与内容分离的一种 ...

  5. 关于ADO.NET 实体数据数据模型无法为Mysql 选择6.0 解决方案

    错误:您的项目引用了最新实体框架:但是,找不到数据链接所需的与版本兼容的实体框架数据库....... 图片:

  6. LeetCode 55

    Jump Game Given an array of non-negative integers, you are initially positioned at the first index o ...

  7. SqlServer知识总结

    SqlServer查询表的列数 select count(*) from sysobjects a join syscolumns b on a.id=b.id where a.name='表名' 在 ...

  8. 微软推出的免费新书《Introducing Microsoft SQL Server 2012》

    微软推出的免费新书<Introducing Microsoft SQL Server 2012>,该书详细介绍微软SQL 2012数据库服务最新功能以及功能应用和使用技巧. 该书适合SQL ...

  9. hdu 1222 Wolf and Rabbit

    Problem Description There is a hill with n holes around. The holes are signed from 0 to n-1. A rabbi ...

  10. Android渲染机制和丢帧分析

    http://blog.csdn.net/bd_zengxinxin/article/details/52525781 自己编写App的时候,有时会感觉界面卡顿,尤其是自定义View的时候,大多数是因 ...