从0开始学爬虫3之xpath的介绍和使用

Xpath：一种HTML和XML的查询语言，它能在XML和HTML的树状结构中寻找节点

安装xpath:

pip install lxml

HTML

超文本标记语言(HyperText Mark-up Language)，是一种规范，一种标准，是构成网页文档的主要语言

URL

统一资源定位器(Uniform Resource Locator)，互联网上的每个文件都有一个唯一的URL，它包含的信息之处文件的位置以及浏览器应该怎么处理它

Xpath的使用语法：

获取文本：

//标签1[@属性1=”属性值1”]/标签2[@属性2=”属性值2”]/…/text()

获取属性值

//标签1[@属性1=”属性值1”]/标签2[@属性2=”属性值2”]/…/@属性n

使用pycharm虚拟环境安装xpath模块

Xpath使用示例

用来进行xpath测试的网页 static/index.html

<!DOCTYPE html>

<html>

<head>

    <meta charset="utf-8">

    <meta http-equiv="X-UA-Compatible" content="IE=edge">

    <title>网页测试</title>

    <link rel="stylesheet" href="">

</head>

<body>

    <h3>标题</h3>

    <ul>

        <li>内容1</li>

        <li>内容2</li>

        <li class="important">内容3important</li>

        <li>内容4</li>

        <li>内容5</li>

    </ul>

    <div>

        内容未知

    </div>

    <p>

        段落内容 from p

    </p>

    <div id="container">

        段落文字

        <a href="http://www.baidu.com" title="超链接">跳转到百度首页</a>

        <p class="content">

            区块内容1

        </p>

        <p class="content">

            区块内容2

        </p>

        <p class="content">

            区块内容3

        </p>

        <p class="content">

            区块内容4

        </p>

        <p class="content-block">

            区块内容5 from block

        </p>

        <p class="content-block">

            区块内容6 末尾内容

        </p>

        <a href="http://www.so.com" title="超链接">跳转到360搜索首页</a>

    </div>

    <p>

        最后一段文字

    </p>

</body>

</html>

xpath使用示例

#coding=utf-8

from lxml import html

def parse():

    """将html文件中的内容，使用xpath进行提取"""

    # 读取文件中的内容

    f = open('./static/index.html', 'r', encoding='utf-8')

    s = f.read()

    selector = html.fromstring(s)

    # 解析H3标题

    h3 = selector.xpath('/html/body/h3/text()')

    print(h3[0])

    # 解析ul下面的内容

    # ul = selector.xpath('/html/body/ul/li')

    # 双斜线语法

    ul = selector.xpath("//ul/li")

    print(len(ul))

    for li in ul:

        print(li.xpath('text()')[0])

    # 解析ul指定的元素值

    ul2 = selector.xpath('/html/body/ul/li[@class="important"]/text()')

    print(ul2)

    # 解析a标签的内容，拆分的方式

    # a = selector.xpath('//div[@id="container"]/a')

    # 标签内的内容

    # print(a[0].xpath("text()")[0])

    # 得到标签的属性

    # print(a[0].xpath("@href")[0])

    # div[id="container"] 的第二个a标签内容

    # print(a[1].xpath("text()"))

    # print(a[1].xpath("@href")[0])

    # 解析a标签的内容，一次性解析的方式

    a1 = selector.xpath('//div[@id="container"]/a/text()')

    # 标签内容

    print(a1[0])

    # 标签数学

    alink = selector.xpath('//div[@id="container"]/a/@href')

    print(alink[0])

    # 解析p标签

    p = selector.xpath('/html/body/p[last()]/text()')

    print(p[0])

    f.close()

if __name__ == "__main__":

    parse()

当我们在页面中找不到xpath的时候可以使用chrome的copy xpath进行参考

从0开始学爬虫3之xpath的介绍和使用的更多相关文章

  1. 从0开始学爬虫2之json的介绍和使用

    从0开始学爬虫2之json的介绍和使用 Json 一种轻量级的数据交换格式,通用,跨平台 键值对的集合,值的有序列表 类似于python中的dict Json中的键值如果是字符串一定要用双引号 jso ...

  2. 从0开始学爬虫12之使用requests库基本认证

    从0开始学爬虫12之使用requests库基本认证 此处我们使用github的token进行简单测试验证 # coding=utf-8 import requests BASE_URL = " ...

  3. 从0开始学爬虫11之使用requests库下载图片

    从0开始学爬虫11之使用requests库下载图片 # coding=utf-8 import requests def download_imgage(): ''' demo: 下载图片 ''' h ...

  4. 从0开始学爬虫9之requests库的学习之环境搭建

    从0开始学爬虫9之requests库的学习之环境搭建 Requests库的环境搭建 环境:python2.7.9版本 参考文档:http://2.python-requests.org/zh_CN/l ...

  5. 从0开始学爬虫8使用requests/pymysql和beautifulsoup4爬取维基百科词条链接并存入数据库

    从0开始学爬虫8使用requests和beautifulsoup4爬取维基百科词条链接并存入数据库 Python使用requests和beautifulsoup4爬取维基百科词条链接并存入数据库 参考 ...

  6. 从0开始学爬虫4之requests基础知识

    从0开始学爬虫4之requests基础知识 安装requestspip install requests get请求:可以用浏览器直接访问请求可以携带参数,但是又长度限制请求参数直接放在URL后面 P ...

  7. 从0开始学爬虫10之urllib和requests库与github/api的交互

    urllib库的使用 # coding=utf-8 import urllib2 import urllib # htpbin模拟的环境 URL_IP="http://10.11.0.215 ...

  8. 从0开始学爬虫7之BeautifulSoup模块的简单介绍

    参考文档: https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ # 安装 beautifulsoup4 (pytools) D:\pyt ...

  9. 一起学爬虫——使用selenium和pyquery爬取京东商品列表

    layout: article title: 一起学爬虫--使用selenium和pyquery爬取京东商品列表 mathjax: true --- 今天一起学起使用selenium和pyquery爬 ...

随机推荐

  1. jmeter多机联合负载

    操作步骤如下: 1.在负载机上部署Jmeter,确保Jmeter的bin目录下存在ApacheJMeter.jar与jmeter-server.bat两个文件. 2.双击启动负载机的jmeter-se ...

  2. 基于Java+Selenium的WebUI自动化测试框架（十四）-----使用TestNG的Sample

    到目前为止,我们所写的东西,都是集中在如何使用Selenium和Java来定位和读取元素.那么,到底如何具体开展测试,如何实现参数化,如何实现判定呢?下面,我们来看看Java应用程序的测试框架吧. 当 ...

  3. Django之路——8 cookie 和sessions

    会话跟踪技术 1 什么是会话跟踪技术 我们需要先了解一下什么是会话!可以把会话理解为客户端与服务器之间的一次会晤,在一次会晤中可能会包含多次请求和响应.例如你给10086打个电话,你就是客户端,而10 ...

  4. 移动App性能评测与优化-Android内存测试 ，DVM原理

    常见的测试方法包括Monkey/UIAutomator类的常规压力测试,大数据/操作的峰值压力测试,长时间运行的稳定性测试等. 前提: 测试准备:版本是纯净版本,不应该附加多余的log和调试用组件. ...

  5. destoon二次开发-签到时间函数扩展

    在api/extend.func.php文件下增加以下代码: //签到时间函数 function timetoday($time = 0, $type = 6) { if(!$time) $time ...

  6. test20190825 AmberFrame

    100+0+99=199,第二题一分没得不应该. count 给定 \(n\),求合法的 \((x_1,x_2,x_3,\dots,x_{2m})\) 组数.一组 \(x\) 是合法的,当且仅当 \[ ...

  7. test20190816 NOIP2019 模拟赛

    100+100+20=220,T3吐槽:整个考室没有一个人正确地理解了题意. 树上路径(phantasm) Akari 的学校的校门前生长着一排 n 棵树,从西向东依次编号为 1 ∼ n.相邻两棵树间 ...

  8. IOT设备通讯，MQTT物联网协议，MQTTnet

    一.IOT设备的特性 硬件能力差(存储能力基本只有几MB,CPU频率低连使用HTTP请求都很奢侈) 系统千差万别(Brillo,mbedOS,RIOT等) 如使用电池供电,电量消耗敏感 如果是小设备, ...

  9. docker 进程 转载：

    今天我们会分析Docker中进程管理的一些细节,并介绍一些常见问题的解决方法和注意事项. 容器的PID namespace(名空间) 在Docker中,进程管理的基础就是Linux内核中的PID名空间 ...

  10. Java - 框架之 SpringBoot 攻略day01

          Spring-Boot 攻略 day01 spring-boot   一. 基本配置加运行   1. 导入配置文件(pom.xml 文件中)   <parent> <gr ...