PyQuery

目前最新的版本是1.3，基于最新版本进行介绍。

主要根据PyQuery的官方文档进行了更新。

from pyquery import PyQuery as pq

from lxml import etree

import urllib


doc=pq('<p id="hello" class="hello"></p>')#解析文档的基本方法

p=doc('p')#获取p标签


print(p.attr('id'))#获取p标签的id属性的值

p.attr('id','plop')#改变p标签的id属性的值为plop

print(p.attr('id'))

p.attr.id='snow'#使用python的方式改变id属性

print(p.attr.id)

p.attr['id']='ola'

print(p.attr['id'])

p.attr(id='hello',class_='hello2')

print(p)


hello

plop

snow

ola

<p id="hello" class="hello2"/>

CSS内容

p.add_class('toto')#增加class内容

# print(p)

p.toggle_class('titi toto')#切换class内容

# print(p)

p.remove_class('titi')#移除class

# print(p)

#添加style，以font-size为例

p.css.font_size='16px'

p.css['font-size']='16px'

p.css={'font-size':'17px'}

Manipulating

#向标签内容的尾部添加一些string

p.append(' check out <a href="http://www.baidu.com">百度一下</a>')

#pp()

#也可以向标签的头部添加

p.prepend('hello again! ')

#pp()

#或者使用这两个命令添加到其他文档或者标签的内容中

d=pq('<html><body><div id="test"><a href="http://python.org">python</a> !</div></body></html>')

p.prepend_to(d('#test'))#将p的内容添加到d的id为test的标签里面，占据最开始的位置

#print(d('#test').html())#打印出id为test的标签的内容

p.insert_after(d('#test'))#把p标签放在id为test的标签后面

#print(d('body').html())

p.insert_before(d('#test'))#把p标签插入到id为test的标签前面

#print(d('body').html())#可以看出来，p插入到了id为test的标签的前面

#移除一个元素

d=pq('<html><body><p id="id">Yeah!</p><p>python rocks !</p></div></html>')

d.remove('p#id')#移除了p标签的id属性

#print(d('body').html())

#将标签的内容移除

d('p').empty()

#print(d('p'))

#可以将两个PyQuery对象连接起来：

print(pq('<div>Yeah !</div>').add_class('myclass') + pq('<b>cool</b>'))

Traversing

d = pq('<p id="hello1" class="test1"><a>1</a></p><p id="hello2" class="test2"><a>2</a></p>')

#print(d('p').filter('.test1'))#按类选择，class名为test1的p标签。

#print(d('p').filter('#hello2'))#按id选择，id名为hello2的p标签

#print(d('p').eq(0))#第一个p标签

#print(d('p').eq(1))#第二个p标签

"""Return PyQuery of only the element with the provided index:

    >>> d = PyQuery('<p class="hello">Hi</p><p>Bye</p><div></div>')

    >>> d('p').eq(0)

    [<p.hello>]

    >>> d('p').eq(1)

    [<p>]

    >>> d('p').eq(2)

    []

"""

#查询嵌套的元素

#print(d('p').find('a'))

#print(d('p').eq(1).find('a'))

API

http://pythonhosted.org/pyquery/api.html

请参考官方文档的介绍。

Scraping

#PyQuery可以使用url载入html文档，默认使用python的urllib库

print(pq('http://www.baidu.com'))

#如果安装了request库，也可以使用并且可以使用requests的大多参数

pq('http://duckduckgo.com/', headers={'user-agent': 'pyquery'})

pq('https://duckduckgo.com/', {'q': 'foo'}, method='post', verify=True)

如果您觉得感兴趣的话，可以添加我的微信公众号：一步一步学Python

爬虫入门【5】PyQuery简介的更多相关文章

  1. Python网络爬虫入门篇

    1.  预备知识 学习者需要预先掌握Python的数字类型.字符串类型.分支.循环.函数.列表类型.字典类型.文件和第三方库使用等概念和编程方法. 2. Python爬虫基本流程 a. 发送请求 使用 ...

  2. Python爬虫入门教程 43-100 百思不得姐APP数据-手机APP爬虫部分

    1. Python爬虫入门教程 爬取背景 2019年1月10日深夜,打开了百思不得姐APP,想了一下是否可以爬呢?不自觉的安装到了夜神模拟器里面.这个APP还是比较有名和有意思的. 下面是百思不得姐的 ...

  3. Python 入门之Python简介

    Python 入门之Python简介 1.Python简介: (1) Python的出生: ​ python的创始人为吉多·范罗苏姆(Guido van Rossum)(中文名字:龟叔).1989年的 ...

  4. Python基础及爬虫入门

    **写在前面**我们在学习任何一门技术的时候,往往都会看很多技术博客,很多程序员也会写自己的技术博客.但是我想写的这些不是纯技术博客,我暂时也没有这个能力写出 Python 或者爬虫相关的技术博客来. ...

  5. Python爬虫入门（二）之Requests库

    Python爬虫入门(二)之Requests库 我是照着小白教程做的,所以该篇是更小白教程hhhhhhhh 一.Requests库的简介 Requests 唯一的一个非转基因的 Python HTTP ...

  6. 爬虫入门五 gooseeker

    title: 爬虫入门五 gooseeker date: 2020-03-16 16:00:00 categories: python tags: crawler gooseeker是一个简单的爬虫软 ...

  7. 爬虫入门四 re

    title: 爬虫入门四 re date: 2020-03-14 16:49:00 categories: python tags: crawler 正则表达式与re库 1 正则表达式简介 编译原理学 ...

  8. 爬虫入门三 scrapy

    title: 爬虫入门三 scrapy date: 2020-03-14 14:49:00 categories: python tags: crawler scrapy框架入门 1 scrapy简介 ...

  9. 爬虫入门二 beautifulsoup

    title: 爬虫入门二 beautifulsoup date: 2020-03-12 14:43:00 categories: python tags: crawler 使用beautifulsou ...

  10. Python简单爬虫入门三

    我们继续研究BeautifulSoup分类打印输出 Python简单爬虫入门一 Python简单爬虫入门二 前两部主要讲述我们如何用BeautifulSoup怎去抓取网页信息以及获取相应的图片标题等信 ...

随机推荐

  1. vertex buffer 数据结构 如何读vb的memory pool

    vertex attribute (declaration)    vertex stream (memory pool) 这两部分 通过attribute 里面对memory的描述把两部分 vbo ...

  2. 获取本机IP，用户代理

    1.获取本机IP:http://httpbin.org/ip 2.获取用户代理 https://httpbin.org/user-agent https://httpbin.org/ httpbin( ...

  3. 【PA2012】【BZOJ4289】Tax

    Description 给出一个N个点M条边的无向图,经过一个点的代价是进入和离开这个点的两条边的边权的较大值.求从起点1到点N的最小代价. 起点的代价是离开起点的边的边权.终点的代价是进入终点的边的 ...

  4. hadoop错误总结

    1.hadoop3: mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied 把所有Data ...

  5. EffectiveJava（1） 构造器和静态工厂方法

    构造器和静态工厂方法 **构造器是大家创建类时的构造方法,即使不显式声明,它也会在类内部隐式声明,使我们可以通过类名New一个实例. 静态方法是构造器的另一种表现形式** 主题要点:何时以及如何创建对 ...

  6. Node.js 使用jQuery取得Nodejs http服务端返回的JSON数组示例

    server.js代码: // 内置http模块,提供了http服务器和客户端功能(path模块也是内置模块,而mime是附加模块) var http=require("http" ...

  7. 在MyEclipse上安装GIT插件EGit

    MyEclipse2016 CI 下载地址:http://pan.baidu.com/s/1gfBw9Ab 1.“Help”->"Install from Site" 2.在 ...

  8. Efficiently traversing InnoDB B+Trees with the page directory--slot

    Efficientlytraversing InnoDB B+Trees with the page directory 1.the purpose of the page directory As ...

  9. 小结:VB.NET机房收费系统个人版

    经过几天的缝缝补补,自己的个人版最终OK了,!或许是由于有第一次的机房收费系统的经验,这次做,感觉很亲切. 在业务逻辑方面,沿袭曾经的逻辑.做了一点升级.可是修改不大. 在数据库方面,感觉自己从一个小 ...

  10. ionic2项目创建回顾 及 react-native 报错处理

    ionic2: 1.创建项目: ionic start MyIonic2Project tutorial --v2 (下载 tutorial 模板来初始化项目) ionic start MyIonic ...