今天写一篇最近刚学习的一个第3方库pyquery，pyquery比bs4，lxml更强大的一个网页解析工具。

什么是pyQuery

Pyquery是python的第3方库，PyQuery库也是一个非常强大又灵活的网页解析库，它提供了和jQuery 类似的语法来解析HTML 文梢，支持css 选择器，使用非常方便。Beautifu l Soup 一样，初始化PyQuery 的时候，也需要传入HTML 文本来初始化一个PyQue1y对象。它的初始化方式有多种，比如直接传入字符串，传入URL，传人文件名

官方文档：http://pyquery.readthedocs.io/en/latest/

安装PyQuery

# pip安装

pip install pyquery

PyQuery使用

写一个简单的html供下面学习

text =
'''

<html>

<body>

<div id="test">

<ul class="list">

<li class="item-0"><a href="link1.html">今天天气</a></li>

<li class="item-1"><a href="link2.html">明天天气</a></li>

<li class="item-2"><a href="link3.html">后天天气</a></li>

<li class="item-3"><a href="link4.html">周末天气</a></li>

</ul>

</div>

</body>

</html>

'''

基本css选择器

# 导入pyquery

from pyquery import PyQuery as pq

# 创建对象

doc = pq(text)

# 通过css选择器先查找id再查找class

item = doc('#test .list')

print(item)

代码结果：

<ul class="list">

<li class="item-0"><a href="link1.html">今天天气</a></li>

<li class="item-1"><a href="link2.html">明天天气</a></li>

<li class="item-2"><a href="link3.html">后天天气</a></li>

<li class="item-3"><a href="link4.html">周末天气</a></li>

</ul>

查找子节点

# 导入pyquery

from pyquery import PyQuery as pq

# 创建对象

doc = pq(text)

# 通过css选择器先查找id再查找class

item = doc('#test .list')

# 查找子节点li
child = item.children('li')
# 或者使用find()函数
# child = item.find('li')
print(child)

代码结果：

<li class="item-0"><a href="link1.html">今天天气</a></li>

<li class="item-1"><a href="link2.html">明天天气</a></li>

<li class="item-2"><a href="link3.html">后天天气</a></li>

<li class="item-3"><a href="link4.html">周末天气</a></li>

查找父节点

# 导入pyquery

from pyquery import PyQuery as pq

# 创建对象

doc = pq(text)

# 通过css选择器先查找id再查找class

item = doc('#test .list')

# 查找父节点

container = item.parent()

print(container)

代码结果：

<div id="test">

<ul class="list">

<li class="item-0"><a href="link1.html">今天天气</a></li>

<li class="item-1"><a href="link2.html">明天天气</a></li>

<li class="item-2"><a href="link3.html">后天天气</a></li>

<li class="item-3"><a href="link4.html">周末天气</a></li>

</ul>

</div>

查找兄弟节点

# 导入pyquery

from pyquery import PyQuery as pq

# 创建对象

doc = pq(text)

# 查找兄弟其中一个

item = doc('.item-0')

# 查找兄弟节点

xiongdi = item.siblings('li')

print(xiongdi)

代码结果：

<li class="item-1"><a href="link2.html">明天天气</a></li>

<li class="item-2"><a href="link3.html">后天天气</a></li>

<li class="item-3"><a href="link4.html">周末天气</a></li>

遍历读取内容

1、遍历读取a标签

这个地方需要使用一个方法items()，使用该方法后得到一个生成器

# 导入pyquery

from pyquery import PyQuery as pq

# 创建对象

doc = pq(text)

item = doc('.list a').items()

for i in item:

    print(i)

代码结果：

<a href="link1.html">今天天气</a>

<a href="link2.html">明天天气</a>

<a href="link3.html">后天天气</a>

<a href="link4.html">周末天气</a>

2、获取href的值

这个地方需要用到attr()方法

# 导入pyquery

from pyquery import PyQuery as pq

# 创建对象

doc = pq(text)

item = doc('.list a').items()

for i in item:

    print(i.attr('href'))

代码结果：

link1.html

link2.html

link3.html

link4.html

3、获取a标签下的文字

通过调用text()方法来实现

# 导入pyquery

from pyquery import PyQuery as pq

# 创建对象

doc = pq(text)

item = doc('.list a').items()

for i in item:

    print(i.text())

代码结果：

今天天气

明天天气

后天天气

周末天气

下一篇通过简单的案例更加深刻的了解pyquery库~~~~

写了一些简单的介绍，还是那一句话，方法多多种，喜欢那种用那种~~~大家喜欢的话，也可以点个关注哈

爬虫---PyQuert简介的更多相关文章

  1. Python 爬虫一 简介

    什么是爬虫? 爬虫可以做什么? 爬虫的本质 爬虫的基本流程 什么是request&response 爬取到数据该怎么办 什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间 ...

  2. 【搜索引擎Jediael开发笔记1】搜索引擎初步介绍及网络爬虫

    详细可参考 (1)书箱:<这就是搜索引擎><自己动手写网络爬虫><解密搜索引擎打桩实践> (2)[搜索引擎基础知识1]搜索引擎的技术架构 (3)[搜索引擎基础知识2 ...

  3. 97、爬虫框架scrapy

    本篇导航: 介绍与安装 命令行工具 项目结构以及爬虫应用简介 Spiders 其它介绍 爬取亚马逊商品信息   一.介绍与安装 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, ...

  4. 爬虫框架 Scrapy

    一 介绍 crapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速.简单.可扩展的方式从网站中提取所需的数据.但目前Scrapy的用途十分广泛,可用 ...

  5. Python 爬虫七 Scrapy

    Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中.其最初是为了页面抓取 (更确切来说, 网络抓取 )所设 ...

  6. 爬虫框架之Scrapy

    一.介绍 二.安装 三.命令行工具 四.项目结构以及爬虫应用简介 五.Spiders 六.Selectors 七.Items 八.Item Pipelin 九. Dowloader Middeware ...

  7. 爬虫基础线程进程学习-Scrapy

    性能相关 学习参考:http://www.cnblogs.com/wupeiqi/articles/6229292.html 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时 ...

  8. 爬虫、框架scrapy

    阅读目录 一 介绍 二 安装 三 命令行工具 四 项目结构以及爬虫应用简介 五 Spiders 六 Selectors 七 Items 八 Item Pipeline 九 Dowloader Midd ...

  9. 爬虫之Scrapy详解

    性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢. import requests def fetch_async(url): ...

随机推荐

  1. 2019 DevOps 必备面试题——持续集成篇

    原文地址:https://medium.com/edureka/devops-interview-questions-e91a4e6ecbf3 原文作者:Saurabh Kulshrestha 翻译君 ...

  2. selinux disable

    临时关闭: [root@localhost ~]# getenforceEnforcing [root@localhost ~]# setenforce 0[root@localhost ~]# ge ...

  3. andorid popupwindow 更新时动画的实现，可实现一个窗口被一个窗口推上去的效果

    最近由于项目需要,一直在寻找一个弹出窗口,在另一个弹出窗口弹出时,推上去的效果,居然找不到,经过不懈的努力,终于实现了popupwindow在更新时的动画. 先上代码: import android. ...

  4. docker上启动nginx,并配置修改nginx的配置文件

    1.使用docker 下载nginx 镜像  docker pull nginx 2.启动nginx docker run --name nginx -p 80:80 -d nginx 这样就简单的把 ...

  5. HashMap与HashTable的区别和理解

    Hashmap的理解 1:HashMap是基于哈希表的Map接口的非同步实现.此实现提供所有可选的映射操作,并允许使用null值和null键.HashMap储存的是键值对,HashMap很快.此类不保 ...

  6. c++ 命令行执行

    常用命令如下 g++ -g -std=c++ a.cpp -std 指定c++的版本 -g 在可执行程序中包含标准调试信息 -o FILE 指定输出文件名,在编译为目标代码时,这一选项不是必须的.如果 ...

  7. SP1716 GSS3 - Can you answer these queries III 线段树

    问题描述 [LG-SP1716](https://www.luogu.org/problem/SP1716] 题解 GSS 系列的第三题,在第一题的基础上带单点修改. 第一题题解传送门 在第一题的基础 ...

  8. WPF 绑定属性 XAML 时间格式化

    原文:WPF 绑定属性 XAML 时间格式化 XAML 时间格式化{Binding Birthday,StringFormat='yyyy-MM-dd '} public class AssetCla ...

  9. linux umask计算方法

    1. umask用于设定默认的新建文件或目录的权限 查看umask当前值命令: umask -p 计算创建出的file权限方法: 如果umask值的每位数都是偶数,使用666按位减umask的值即可 ...

  10. onload()方法只能在body标签中调用吗？怎么调用多个多个方法？

    第一个问题: onload()方法并非只能在body标签中调用的,还可以在js中用window.onload = function() {函数名};来调用:另外img等标签也支持onload方法. 支 ...