爬虫之PyQuery的base了解

  • pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好，和它差不多的还有BeautifulSoup，都是用来解析的。相比BeautifulSoup完美翔实的文档，虽然PyQuery库的文档弱爆了， 但是使用起来还是可以的，有些地方用起来很方便简洁。

  • 本地文件test.html

    <html lang="en">
    
<head>
    
	<meta charset="UTF-8" />
    
	<title>测试bs4</title>
    
</head>
    
<body>
    
	<div>
    
		<p>百里守约</p>
    
	</div>
    
	<div class="song">
    
		<p>李清照</p>
    
		<p>王安石</p>
    
		<p>苏轼</p>
    
		<p>柳宗元</p>
    
		<a href="http://www.song.com/" title="赵匡胤" target="_self">
    
			<span>this is span</span>
    
		宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
    
		<a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
    
		<img src="http://www.baidu.com/meinv.jpg" alt="" />
    
	</div>
    
	<div class="tang">
    
		<ul>
    
			<li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
    
			<li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
    
			<li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
    
			<li><a href="http://www.sina.com" class="du">杜甫</a></li>
    
			<li><a href="http://www.dudu.com" class="du">杜牧</a></li>
    
			<li><b>杜小月</b></li>
    
			<li><i>度蜜月</i></li>
    
			<li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
    
		</ul>
    
	</div>
    
</body>
    
</html>

1.打开html本地文件：

from pyquery import PyQuery as pq

with open('./test.html','r',encoding='utf-8')as f:

    content = f.read()

doc = pq(content)

print(type(doc))#<class 'pyquery.pyquery.PyQuery'>

2.打开网址

from pyquery import PyQuery as pq

doc = pq('https://www.baidu.com',encoding='utf-8')

print(doc('head'))

#打印百度的头信息

3.基于CSS选择器查找

from pyquery import PyQuery as pq

with open('./test.html','r',encoding='utf-8')as f:

    content = f.read()

doc = pq(content)

print(doc('.tang ul li'))

#注意层级关系以空格隔开

4.选择器

5.查找当前标签的父或子标签

from pyquery import PyQuery as pq

html="""

<div class="tang">

		<ul>

			<li class="shi"><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>

			<li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>

			<li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>

			<li><a href="http://www.sina.com" class="du">杜甫</a></li>

			<li><a href="http://www.dudu.com" class="du">杜牧</a></li>

			<li><b>杜小月</b></li>

			<li><i>度蜜月</i></li>

			<li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>

		</ul>

	</div>

"""

doc = pq(html)

item = doc('div ul')

# print(item)

print(item.children())#li签，查找父标签

print(item.parent())#div签,查找子标签

print(item.children('[class]'))#拿到li签，并且带有class属性

6.获取属性值

from pyquery import PyQuery as pq

html="""

<div class="tang">

		<ul>

			<li class="shi"><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>

			<li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>

			<li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>

			<li><a href="http://www.sina.com" class="du">杜甫</a></li>

			<li><a href="http://www.dudu.com" class="du">杜牧</a></li>

			<li><b>杜小月</b></li>

			<li><i>度蜜月</i></li>

			<li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>

		</ul>

	</div>

"""

doc = pq(html)

item = doc('div ul li a')

print(item.attr('href'))#http://www.baidu.com

print(item.attr('title'))#qing

7.获取标签的内容

from pyquery import PyQuery as pq

html="""

<div class="tang">

		<ul>

			<li class="shi"><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>

			<li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>

			<li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>

			<li><a href="http://www.sina.com" class="du">杜甫</a></li>

			<li><a href="http://www.dudu.com" class="du">杜牧</a></li>

			<li><b>杜小月</b></li>

			<li><i>度蜜月</i></li>

			<li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>

		</ul>

	</div>

"""

doc = pq(html)

item = doc('a').text()

print(item)

#清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村 秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山 岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君 杜甫 杜牧 凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘

8.其他用法

from pyquery import PyQuery as pq

html="""

<div class="tang">

		<ul>

			<li class="shi"><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>

			<li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>

			<li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>

			<li><a href="http://www.sina.com" class="du">杜甫</a></li>

			<li><a href="http://www.dudu.com" class="du">杜牧</a></li>

			<li><b>杜小月</b></li>

			<li><i>度蜜月</i></li>

			<li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>

		</ul>

	</div>

"""

doc = pq(html)

item = doc('div ul')

# item = doc('a').text()

print(item.find('li a'))

#遍历循环li下的a标签。

for i in item.find('li a'):

    print(dir(i))

    # print(i.attrib)#{'href': 'http://www.baidu.com', 'title': 'qing'}里面当前a签所有的属性

    print(i.text)#a标签内容

    print(i.tag)# a标签

    print(i.values)#一个绑定对象<bound method _Element.values of <Element a at 0x201328bfcc8>>

爬虫之PyQuery的base了解的更多相关文章

  1. Python爬虫之PyQuery使用（六）

    Python爬虫之PyQuery使用 PyQuery简介 pyquery能够通过选择器精确定位 DOM 树中的目标并进行操作.pyquery相当于jQuery的python实现,可以用于解析HTML网 ...

  2. # Python3微博爬虫[requests+pyquery+selenium+mongodb]

    目录 Python3微博爬虫[requests+pyquery+selenium+mongodb] 主要技术 站点分析 程序流程图 编程实现 数据库选择 代理IP测试 模拟登录 获取用户详细信息 获取 ...

  3. # [爬虫Demo] pyquery+csv爬取猫眼电影top100

    目录 [爬虫Demo] pyquery+csv爬取猫眼电影top100 站点分析 代码君 [爬虫Demo] pyquery+csv爬取猫眼电影top100 站点分析 https://maoyan.co ...

  4. Python逆向爬虫之pyquery，非常详细

    系列目录 Python逆向爬虫之pyquery pyquery是一个类似jquery的python库,它实现能够在xml文档中进行jQuery查询,pyquery使用lxml解析器进行快速在xml和h ...

  5. python爬虫神器PyQuery的使用方法

    你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些 ...

  6. Python爬虫之pyquery库的基本使用

    # 字符串初始化 html = ''' <div> <ul> <li class = "item-0">first item</li> ...

  7. python爬虫之PyQuery的基本使用

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  8. 常见的爬虫分析库（4）-爬虫之PyQuery

    PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎完全相同. 官方文档:http://pyquery.readthedocs.io/ 安装 1 pip ins ...

  9. 爬虫之PyQuery

    PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎完全相同. 官方文档:http://pyquery.readthedocs.io/ 安装 pip insta ...

随机推荐

  1. Python绘制3D图形

    来自:https://www.jb51.net/article/139349.htm 3D图形在数据分析.数据建模.图形和图像处理等领域中都有着广泛的应用,下面将给大家介绍一下如何使用python进行 ...

  2. Linux配置crontab

    1. 添加任务(每分钟执行一次)crontab -e* * * * * /home/lings/logRotate.sh 2. 查看日志Jun 5 20:25:01 localhost CROND[8 ...

  3. Qt开发经验小技巧1-10

    当编译发现大量错误的时候,从第一个看起,一个一个的解决,不要急着去看下一个错误,往往后面的错误都是由于前面的错误引起的,第一个解决后很可能都解决了. 定时器是个好东西,学会好使用它,有时候用QTime ...

  4. EasyNVR摄像机网页直播中，推流组件EasyRTMP推送RTMP扩展支持HEVC(H.265)的方案

    众所周知,RTMP标准协议实际是不支持HEVC(H.265)编码格式的,同样,现行的H5标准里面,也没有对H.265的描述,所以,在很大程度上,H5网页浏览器是无法接入HEVC(H.265)的,但是, ...

  5. Github-Dorks与辅助工具

    前言 Github搜索功能非常强大且有用,可用于在开源出来的Github仓库中搜索敏感数据.可以找到敏感的个人和/或组织信息(例如私钥,凭据,身份验证令牌等). 文中的github dork列表可以在 ...

  6. 算法练习之合并两个有序链表, 删除排序数组中的重复项,移除元素,实现strStr(),搜索插入位置,无重复字符的最长子串

    最近在学习java,但是对于数据操作那部分还是不熟悉 因此决定找几个简单的算法写,用php和java分别实现 1.合并两个有序链表 将两个有序链表合并为一个新的有序链表并返回.新链表是通过拼接给定的两 ...

  7. IP address '121.41.35.30' could not be resolved: Name or service not known解决方法

    IP address '121.41.35.30' could not be resolved: Name or service not known解决方法 添加如下 然后重启 即可解决<pre ...

  8. 关于close_wait状态的理解

    以web服务器产生大量的close_wait状态为例 1.close_wait状态介绍: 客户端主动关闭连接,服务器接收到客户端的FIN,但是还没有发送自己的FIN,此时的状态为close_wait状 ...

  9. kube-proxy运行机制分析【转载】

    转自:http://blog.itpub.net/28624388/viewspace-2155433/ 1.Service在很多情况下只是一个概念,而真正将Service的作用实现的是kube-pr ...

  10. 使用Xshell采用证书登录Linux

    1,工具--- 用户key生成向导,选择秘钥类型,注意DSA只能选择1024位级以下,超过1024位的服务器不认. 2 给公钥取一个名字,并设置密码,保存为文件 3 在linux 用户目录,用cd  ...