获取页面内容除使用正则意外，还可以使用XPath，其原理是将html代码转换为xml格式，然后使用XPath查找html节点或元素。

选取节点

XPath使用路径表达式来选取XML文档中的节点或节点集。

常用的路径表达式见下表：

表达式 描述
nodename 选取此节点的所有子节点
/ 从根节点选取
// 从匹配选择的当前节点选择文档中的节点，不考虑其是否为子级
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性

谓语

谓语用来查找某个特定的节点或者包含某个指定的值得节点，被嵌在方括号中。

路径表达式 释义
/one/two[1] 选取属于one子元素的第一个two元素
/one/two[last()] 选取属于one子元素的最后一个two元素
/one/two[last()-1] 选取属于one子元素的倒数第二个two元素
/one/two[position()❤️] 选取最前面的两个属于one元素的子元素two元素
//one[@lang] 选取所有拥有名为lang的属性的one元素
//one[@lang='test'] 选取所有拥有值为test的lang属性的one元素
/one/two[position>10] 选取one元素的所有two元素，且其中position属性的值大于10

选取未知节点

通配符 描述
* 匹配如何元素节点
@* 匹配任何属性节点
node() 匹配任何类型节点

例：

路径表达式 结果
/one/* 选取one中所有的子元素
//* 选取文档中的所有元素
//one[@*] 选取所有带有属性的one元素

选取若干路径

可以使用管道符“|”选取若干个路径，相当于或

XPath运算符

运算符 描述
+ 加法
- 减法
* 乘法
div 除法
= 等于
!= 不等于
< 小于
<= 小于或等于
> 大于
>= 大于或等于
or 或
and 与
mod 计算余数

XPath的使用

from lxml.html import etree

# 获取到的要匹配的html字符串

html = ''

content = etree.HTML(html)

# 返回所有匹配成功的列表集合

res = content.xpath('表达式')

BeautifulSoup4的使用

和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。

想使用BeautifulSoup4首先需要安装，执行pip install beautifulsoup4安装，BeautifulSoup4的使用方法如下

from bs4 import BeautifulSoup

html = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

soup = BeautifulSoup(html, 'lxml')

# 打开本地Html文件创建对象

# soup = BeautifulSoup(open('xxx.html'))

print(soup.prettify())

# 获取标签

soup.title    # 获取title

soup.p    # 获取p标签

soup.a    #  获取a标签

print(soup.name)

# [document] #soup 对象本身比较特殊，它的 name 即为 [document]

print(soup.head.name)

# head #对于其他内部标签，输出的值便为标签本身的名称

print(soup.p.attrs)

# {'class': ['title'], 'name': 'dromouse'}

# 在这里，我们把 p 标签的所有属性打印输出了出来，得到的类型是一个字典。

print(soup.p['class']) # soup.p.get('class')

# ['title'] #还可以利用get方法，传入属性的名称，二者是等价的

soup(p['class']) = "newClass"

print(soup.p) # 可以对这些属性和内容等等进行修改

# <p class="newClass" name="dromouse"><b>The Dormouse's story</b></p>

del(soup.p['class']) # 还可以对这个属性进行删除

print (soup.p)

# <p name="dromouse"><b>The Dormouse's story</b></p>

# 获取标签内文字

print(soup.p.string)

# tag 的 .content 属性可以将tag的子节点以列表的方式输出

print(soup.head.contents)    # [<title>The Dormouse's story</title>]

# .children它返回的不是一个 list（是一个列表生成器），不过我们可以通过遍历获取所有子节点。

print(soup.head.children)    # <list_iterator object at 0x000002B9D7E4CFD0>

# .descendants 获取所有子孙节点

print(soup.descendants)    # 结果是一个生成器 <generator object Tag.descendants at 0x0000020AAC5B1B10>

BeautifulSoup4的搜索

# 使用find_all(name, attrs, recursive, text, **kwargs)查找

# 传入name参数

soup.find_all('p')    # 查找所有p标签

soup.find_all('a')    # 查找所有a标签

soup.find_all(re.compile('^p'))    # 使用正则查找所有以p打头的标签

soup.find_all(['p', 'a'])    # 传入列表，查找所有p和a标签

# 传入attrs参数

soup.find_all(id='link1')    # 查找所有id未link1的标签，通过标签属性查找的方式适用大多数标签属性，包括id，style，title，但有 “-”，Class标签属性例外。

soup.find_all(attrs={'class': 'sister'})

# 传入text参数

soup.find_all(text="Lacie")    # 产找所有含有内容为Lacie的对象

soup.find_all(text=['aaa', 'bbb'])

soup.find_all(text=re.compile("Tit"))    # 传入正则匹配

# css选择查找

soup.select('title')    # 根据标签查找

soup.select('#link1')    # 根据Id查找

soup.select('.sister')    # 根据类名查找

soup.select('p #link1')    # 组合查找

soup.select("head > title")    # 查找子标签

soup.select('a[class="sister"]')    # 属性查找

soup.select('title')[0].get_text()    # 使用get_text获取内容

实例

from bs4 import BeautifulSoup

from urllib.request import *

import json

def tencent():

    url = 'https://hr.tencent.com'

    header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36"}

    request = Request(url + '/position.php?&start=0#a', headers=header)

    response = urlopen(request)

    html = response.read()

    # with open('html.txt', 'wb+') as f:

    #     f.write(html)

    soup = BeautifulSoup(html, 'lxml')

    result = soup.select('tr[class="even"]')

    result2 = soup.select('tr[class="old"]')

    result.extend(result2)

    items = []

    for site in result:

        item = {}

        item['name'] = site.select('td a')[0].get_text()

        item['link'] = site.select('td a')[0].attrs['href']

        item['category'] = site.select('td')[1].get_text()

        item['recruitNumber'] = site.select('td')[2].get_text()

        item['workLocation'] = site.select('td')[3].get_text()

        item['publishTime'] = site.select('td')[4].get_text()

        items.append(item)

    line = json.dumps(items, ensure_ascii=False)

    with open('html.txt', 'w') as f:

        f.write(line)

if __name__ == "__main__":

    tencent()

python--爬虫（XPath与BeautifulSoup4）的更多相关文章

  1. python爬虫xpath的语法

    有朋友问我正则,,okey,其实我的正则也不好,但是python下xpath是相对较简单的 简单了解一下xpath: XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML ...

  2. Python爬虫初探 - selenium+beautifulsoup4+chromedriver爬取需要登录的网页信息

    目标 之前的自动答复机器人需要从一个内部网页上获取的消息用于回复一些问题,但是没有对应的查询api,于是想到了用脚本模拟浏览器访问网站爬取内容返回给用户.详细介绍了第一次探索python爬虫的坑. 准 ...

  3. python爬虫xpath

    又是一个大晴天,因为马上要召开十九大,北京地铁就额外的拥挤,人贴人到爆炸,还好我常年挤地铁早已练成了轻功水上漂,挤地铁早已经不在话下. 励志成为一名高级测试工程师的我,目前还只是个菜鸟,难得有机会,公 ...

  4. Python爬虫 XPath语法和lxml模块

    XPath语法和lxml模块 什么是XPath? xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. X ...

  5. python爬虫----XPath

    1.知道本节点元素,如何定位到兄弟元素 详情见博客 XML代码见下 bt1在文档中只出现一次,所以很容易获取到bt1中内容,那怎么根据<td class='bt1'>来获取bt2中的内容 ...

  6. Python爬虫 | xpath的安装

    错误信息:程序包无效.详细信息:“Cannot load extension with file or directory name . Filenames starting with "& ...

  7. python爬虫前提技术

    1.BeautifulSoup 解析html如何使用 转自:http://blog.csdn.net/u013372487/article/details/51734047 #!/usr/bin/py ...

  8. python爬虫的页面数据解析和提取/xpath/bs4/jsonpath/正则(1)

    一.数据类型及解析方式 一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值.内容一般分为两部分,非结构化的数据 和 结构化的数据. 非结构化数据:先有数据,再有结构, 结构化数 ...

  9. python爬虫之BeautifulSoup4使用

    钢铁知识库,一个学习python爬虫.数据分析的知识库.人生苦短,快用python. 上一章我们讲解针对结构化的html.xml数据,使用Xpath实现网页内容爬取.本章我们再来聊另一个高效的神器:B ...

  10. Python爬虫与数据分析之爬虫技能：urlib库、xpath选择器、正则表达式

    专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析 ...

随机推荐

  1. <字符串匹配>KMP算法为何比暴力求解的时间复杂度更低?

    str表示文本串,m表示模式串; str[i+j] 和 m[j] 是正在进行匹配的字符; KMP的时间复杂度是O(m+n)  ,  暴力求解的时间复杂度是O(m*n) KMP利用了B[0:j]和A[i ...

  2. drf分页功能

    什么是restful规范 是一套规则,用于程序之间进行数据交换的约定. 他规定了一些协议,对我们感受最直接的的是,以前写增删改查需要写4个接口,restful规范的就是1 个接口,根据method的不 ...

  3. 【Weiss】【第03章】增补附注

    基本上每章到增补附注这里就算是结束了. 根据设想,每章的这一篇基本上会注明这一章哪些题没有做,原因是什么,如果以后打算做了也会在这里补充. 还有就是最后会把有此前诸多习题的代码和原数据结构放整理后,以 ...

  4. sleep（）和wait（）方法的区别

    1,sleep()声明在Thread类中,而且是静态方法: wait()声明在Object类中,而且必须由锁对象调用. 2,sleep()时间达到后恢复: wait()可以设置事件自动恢复,如果没有设 ...

  5. Spring WebFlux 入门

    1. WebFlux介绍 Spring WebFlux 是 Spring Framework 5.0中引入的新的响应式web框架.与Spring MVC不同,它不需要Servlet API,是完全异步 ...

  6. 【面试QA-基本模型】LSTM

    目录 为什么传统 CNN 适用于 CV 任务,RNN 适用于 NLP 任务 RNN 原理 LSTM 原理 GRU 原理 RNN BPTT LSTM 如何解决 RNN 的梯度消失问题 怎样增加 LSTM ...

  7. 洛谷 P3935 Calculating 题解

    原题链接 一看我感觉是个什么很难的式子-- 结果读完了才发现本质太简单. 算法一 完全按照那个题目所说的,真的把质因数分解的结果保留. 最后乘. 时间复杂度:\(O(r \sqrt{r})\). 实际 ...

  8. [简单路径] Useful Decomposition

    Ramesses knows a lot about problems involving trees (undirected connected graphs without cycles)! He ...

  9. Linux基础篇学习——文件目录常用管理命令mkdir，cat，more，less，ln，file，cp，find，split，mv

    mkdir 创建目录 -p 递归创建目录 -v 显示创建信息 [root@zycentos7 ~]# mkdir -p {mylinux/{bin,conf,lib,logs,webapps/{doc ...

  10. 初识ASP.NET CORE

    首先创建一个asp.net core web应用程序 第二步 目前官方预置了7种模板项目供我们选择.从中我们可以看出,既有我们熟悉的MVC.WebAPI,又新添加了Razor Page,以及结合比较流 ...