python--爬虫（XPath与BeautifulSoup4）
获取页面内容除使用正则意外，还可以使用XPath，其原理是将html代码转换为xml格式，然后使用XPath查找html节点或元素。
选取节点
XPath使用路径表达式来选取XML文档中的节点或节点集。
常用的路径表达式见下表：
| 表达式 | 描述 |
|---|---|
| nodename | 选取此节点的所有子节点 |
| / | 从根节点选取 |
| // | 从匹配选择的当前节点选择文档中的节点，不考虑其是否为子级 |
| . | 选取当前节点 |
| .. | 选取当前节点的父节点 |
| @ | 选取属性 |
谓语
谓语用来查找某个特定的节点或者包含某个指定的值得节点，被嵌在方括号中。
| 路径表达式 | 释义 |
|---|---|
| /one/two[1] | 选取属于one子元素的第一个two元素 |
| /one/two[last()] | 选取属于one子元素的最后一个two元素 |
| /one/two[last()-1] | 选取属于one子元素的倒数第二个two元素 |
| /one/two[position()❤️] | 选取最前面的两个属于one元素的子元素two元素 |
| //one[@lang] | 选取所有拥有名为lang的属性的one元素 |
| //one[@lang='test'] | 选取所有拥有值为test的lang属性的one元素 |
| /one/two[position>10] | 选取one元素的所有two元素，且其中position属性的值大于10 |
选取未知节点
| 通配符 | 描述 |
|---|---|
| * | 匹配如何元素节点 |
| @* | 匹配任何属性节点 |
| node() | 匹配任何类型节点 |
例：
| 路径表达式 | 结果 |
|---|---|
| /one/* | 选取one中所有的子元素 |
| //* | 选取文档中的所有元素 |
| //one[@*] | 选取所有带有属性的one元素 |
选取若干路径
可以使用管道符“|”选取若干个路径，相当于或
XPath运算符
| 运算符 | 描述 |
|---|---|
| + | 加法 |
| - | 减法 |
| * | 乘法 |
| div | 除法 |
| = | 等于 |
| != | 不等于 |
| < | 小于 |
| <= | 小于或等于 |
| > | 大于 |
| >= | 大于或等于 |
| or | 或 |
| and | 与 |
| mod | 计算余数 |
XPath的使用
from lxml.html import etree
# 获取到的要匹配的html字符串
html = ''
content = etree.HTML(html)
# 返回所有匹配成功的列表集合
res = content.xpath('表达式')
BeautifulSoup4的使用
和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。
想使用BeautifulSoup4首先需要安装，执行pip install beautifulsoup4安装，BeautifulSoup4的使用方法如下
from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html, 'lxml')
# 打开本地Html文件创建对象
# soup = BeautifulSoup(open('xxx.html'))
print(soup.prettify())
# 获取标签
soup.title # 获取title
soup.p # 获取p标签
soup.a # 获取a标签
print(soup.name)
# [document] #soup 对象本身比较特殊，它的 name 即为 [document]
print(soup.head.name)
# head #对于其他内部标签，输出的值便为标签本身的名称
print(soup.p.attrs)
# {'class': ['title'], 'name': 'dromouse'}
# 在这里，我们把 p 标签的所有属性打印输出了出来，得到的类型是一个字典。
print(soup.p['class']) # soup.p.get('class')
# ['title'] #还可以利用get方法，传入属性的名称，二者是等价的
soup(p['class']) = "newClass"
print(soup.p) # 可以对这些属性和内容等等进行修改
# <p class="newClass" name="dromouse"><b>The Dormouse's story</b></p>
del(soup.p['class']) # 还可以对这个属性进行删除
print (soup.p)
# <p name="dromouse"><b>The Dormouse's story</b></p>
# 获取标签内文字
print(soup.p.string)
# tag 的 .content 属性可以将tag的子节点以列表的方式输出
print(soup.head.contents) # [<title>The Dormouse's story</title>]
# .children它返回的不是一个 list（是一个列表生成器），不过我们可以通过遍历获取所有子节点。
print(soup.head.children) # <list_iterator object at 0x000002B9D7E4CFD0>
# .descendants 获取所有子孙节点
print(soup.descendants) # 结果是一个生成器 <generator object Tag.descendants at 0x0000020AAC5B1B10>
BeautifulSoup4的搜索
# 使用find_all(name, attrs, recursive, text, **kwargs)查找
# 传入name参数
soup.find_all('p') # 查找所有p标签
soup.find_all('a') # 查找所有a标签
soup.find_all(re.compile('^p')) # 使用正则查找所有以p打头的标签
soup.find_all(['p', 'a']) # 传入列表，查找所有p和a标签
# 传入attrs参数
soup.find_all(id='link1') # 查找所有id未link1的标签，通过标签属性查找的方式适用大多数标签属性，包括id，style，title，但有 “-”，Class标签属性例外。
soup.find_all(attrs={'class': 'sister'})
# 传入text参数
soup.find_all(text="Lacie") # 产找所有含有内容为Lacie的对象
soup.find_all(text=['aaa', 'bbb'])
soup.find_all(text=re.compile("Tit")) # 传入正则匹配
# css选择查找
soup.select('title') # 根据标签查找
soup.select('#link1') # 根据Id查找
soup.select('.sister') # 根据类名查找
soup.select('p #link1') # 组合查找
soup.select("head > title") # 查找子标签
soup.select('a[class="sister"]') # 属性查找
soup.select('title')[0].get_text() # 使用get_text获取内容
实例
from bs4 import BeautifulSoup
from urllib.request import *
import json
def tencent():
url = 'https://hr.tencent.com'
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36"}
request = Request(url + '/position.php?&start=0#a', headers=header)
response = urlopen(request)
html = response.read()
# with open('html.txt', 'wb+') as f:
# f.write(html)
soup = BeautifulSoup(html, 'lxml')
result = soup.select('tr[class="even"]')
result2 = soup.select('tr[class="old"]')
result.extend(result2)
items = []
for site in result:
item = {}
item['name'] = site.select('td a')[0].get_text()
item['link'] = site.select('td a')[0].attrs['href']
item['category'] = site.select('td')[1].get_text()
item['recruitNumber'] = site.select('td')[2].get_text()
item['workLocation'] = site.select('td')[3].get_text()
item['publishTime'] = site.select('td')[4].get_text()
items.append(item)
line = json.dumps(items, ensure_ascii=False)
with open('html.txt', 'w') as f:
f.write(line)
if __name__ == "__main__":
tencent()
python--爬虫（XPath与BeautifulSoup4）的更多相关文章
- python爬虫xpath的语法
有朋友问我正则,,okey,其实我的正则也不好,但是python下xpath是相对较简单的 简单了解一下xpath: XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML ...
- Python爬虫初探 - selenium+beautifulsoup4+chromedriver爬取需要登录的网页信息
目标 之前的自动答复机器人需要从一个内部网页上获取的消息用于回复一些问题,但是没有对应的查询api,于是想到了用脚本模拟浏览器访问网站爬取内容返回给用户.详细介绍了第一次探索python爬虫的坑. 准 ...
- python爬虫xpath
又是一个大晴天,因为马上要召开十九大,北京地铁就额外的拥挤,人贴人到爆炸,还好我常年挤地铁早已练成了轻功水上漂,挤地铁早已经不在话下. 励志成为一名高级测试工程师的我,目前还只是个菜鸟,难得有机会,公 ...
- Python爬虫 XPath语法和lxml模块
XPath语法和lxml模块 什么是XPath? xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. X ...
- python爬虫----XPath
1.知道本节点元素,如何定位到兄弟元素 详情见博客 XML代码见下 bt1在文档中只出现一次,所以很容易获取到bt1中内容,那怎么根据<td class='bt1'>来获取bt2中的内容 ...
- Python爬虫 | xpath的安装
错误信息:程序包无效.详细信息:“Cannot load extension with file or directory name . Filenames starting with "& ...
- python爬虫前提技术
1.BeautifulSoup 解析html如何使用 转自:http://blog.csdn.net/u013372487/article/details/51734047 #!/usr/bin/py ...
- python爬虫的页面数据解析和提取/xpath/bs4/jsonpath/正则(1)
一.数据类型及解析方式 一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值.内容一般分为两部分,非结构化的数据 和 结构化的数据. 非结构化数据:先有数据,再有结构, 结构化数 ...
- python爬虫之BeautifulSoup4使用
钢铁知识库,一个学习python爬虫.数据分析的知识库.人生苦短,快用python. 上一章我们讲解针对结构化的html.xml数据,使用Xpath实现网页内容爬取.本章我们再来聊另一个高效的神器:B ...
- Python爬虫与数据分析之爬虫技能：urlib库、xpath选择器、正则表达式
专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析 ...
随机推荐
- React-redux: React.js 和 Redux 架构的结合
通过Redux 架构理解我们了解到 Redux 架构的 store.action.reducers 这些基本概念和工作流程.我们也知道了 Redux 这种架构模式可以和其他的前端库组合使用,而 Rea ...
- 4000字干货长文！从校招和社招的角度说说如何准备Java后端大厂面试？
插个题外话,为了写好这篇文章内容,我自己前前后后花了一周的时间来总结完善,文章内容应该适用于每一个学习 Java 的朋友!我觉得这篇文章的很多东西也是我自己写给自己的,比如从大厂招聘要求中我们能看到哪 ...
- Linux安装Elasticsearch7.x
Elasticsearch下载地址: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x8 ...
- require.context('.', true, /\.router\.js/) webpack 编译的时候读取目录文件
const routerList = [] function importAll (r) { r.keys().map(value => { r(value).default.map(item ...
- 网络安全从入门到精通 ( 第二章-5) 后端基础PHP—简介及基本函数-下
本文内容: 循环语句 PHP获取表单信息 PHP操作Mysql语句 语法SQL注入 1,循环语句: for循环: 语法:for($x=0,$x<10;$x++){执行语句;} 注意:$x++,先 ...
- cmdb 配置
cmdb客户端文件夹创建 客户端:client:-bin:启动文件-src:源文件(核心代码)-conf:配置文件-lib:全局的一些方法 和配置-test:测试文件
- windows常用系统命令
dir指定要列出的驱动器.目录和/或文件 显示当前路径下的所有文件的绝对路径,包含子文件夹中的内容 dir /b / s /o:n /a:a /b 表示去除摘要信息,且顶格显示完整路径 /s 表示枚举 ...
- 近期 github 机器学习热门项目top5
磐创智能-专注机器学习深度学习的教程网站 http://panchuang.net/ 磐创AI-智能客服,聊天机器人,推荐系统 http://panchuangai.com/ [导读]:Github是 ...
- TensorFlow系列专题(十三): CNN最全原理剖析（续）
目录: 前言 卷积层(余下部分) 卷积的基本结构 卷积层 什么是卷积 滑动步长和零填充 池化层 卷积神经网络的基本结构 总结 参考文献 一.前言 上一篇我们一直说到了CNN[1]卷积层的特性,今天 ...
- Jmeter4.0之插件安装（三）
使用Jmeter的实际过程中,需要使用到很多插件,比如json的插件,还有就是做websocket接口测试的时候需要下载websocket的插件 到https://jmeter-plugins.org ...