简介

在一些项目中可能会使用到解析html文件，尤其是爬虫相关的，需要解析获取到的html内容，通常我们会使用lxml模块去进行html文件的解析。

html文件

当前存在一个简单的html

<!DOCTYPE html>

<html lang="en">

<head>

    <meta charset="UTF-8">

    <meta http-equiv="X-UA-Compatible" content="IE=edge">

    <meta name="viewport" content="width=device-width, initial-scale=1.0">

    <title>Document</title>

</head>

<body>

    <div class="test">

        <ul class="ul-list">

            <li class="li-test">li-text</li>

            <li class="li-test">li-text2</li>

            <li class="li-test">li-text3</li>

            <li class="li-test">li-text4</li>

        </ul>

        <ul class="ul-list2">

            <li class="li-test">li-text</li>

            <li class="li-test">li-text2</li>

            <li class="li-test">li-text3</li>

            <li class="li-test">li-text4</li>

        </ul>

    </div>

</body>

</html>

获取html中的部分标签的属性及内容

from lxml import etree

import pathlib

html_path = pathlib.Path(__file__).parent.joinpath("test.html")

html = etree.parse(html_path, parser=etree.HTMLParser())

# xpath定位元素，此处为获取div class属性为test下面的所有class属性为ul-list的ul下面的class属性为li-test的所有li元素

content = html.xpath("//div[@class='test']/ul[@class='ul-list']/li[@class='li-test']")

for item in content:

    # 获取标签的名称

    print(item.tag)

    # 获取标签中间的文本内容

    print(item.text)

    # 获取标签的所有属性，以字典形式返回

    print(item.attrib)


li

li-text

{'class': 'li-test'}

li

li-text2

{'class': 'li-test'}

li

li-text3

{'class': 'li-test'}

li

li-text4

{'class': 'li-test'}

xml文件

存在如下xml文件

<component name="ProjectCodeStyleConfiguration">

  <code_scheme name="Project" version="173">

    <HTMLCodeStyleSettings>

      <option name="HTML_SPACE_INSIDE_EMPTY_TAG" value="true" />

      <option name="HTML_ENFORCE_QUOTES" value="true" />

    </HTMLCodeStyleSettings>

    <JSCodeStyleSettings version="0">

      <option name="FORCE_SEMICOLON_STYLE" value="true" />

      <option name="SPACE_BEFORE_FUNCTION_LEFT_PARENTH" value="false" />

      <option name="FORCE_QUOTE_STYlE" value="true" />

      <option name="ENFORCE_TRAILING_COMMA" value="Remove" />

      <option name="SPACES_WITHIN_OBJECT_LITERAL_BRACES" value="true" />

      <option name="SPACES_WITHIN_IMPORTS" value="true" />

    </JSCodeStyleSettings>

    <TypeScriptCodeStyleSettings version="0">

      <option name="FORCE_SEMICOLON_STYLE" value="true" />

      <option name="SPACE_BEFORE_FUNCTION_LEFT_PARENTH" value="false" />

      <option name="FORCE_QUOTE_STYlE" value="true" />

      <option name="ENFORCE_TRAILING_COMMA" value="Remove" />

      <option name="SPACES_WITHIN_OBJECT_LITERAL_BRACES" value="true" />

      <option name="SPACES_WITHIN_IMPORTS" value="true" />

    </TypeScriptCodeStyleSettings>

    <VueCodeStyleSettings>

      <option name="INTERPOLATION_NEW_LINE_AFTER_START_DELIMITER" value="false" />

      <option name="INTERPOLATION_NEW_LINE_BEFORE_END_DELIMITER" value="false" />

    </VueCodeStyleSettings>

    <codeStyleSettings language="HTML">

      <option name="SOFT_MARGINS" value="100" />

      <indentOptions>

        <option name="CONTINUATION_INDENT_SIZE" value="4" />

      </indentOptions>

    </codeStyleSettings>

    <codeStyleSettings language="JavaScript">

      <option name="SOFT_MARGINS" value="100" />

    </codeStyleSettings>

    <codeStyleSettings language="TypeScript">

      <option name="SOFT_MARGINS" value="100" />

    </codeStyleSettings>

    <codeStyleSettings language="Vue">

      <option name="SOFT_MARGINS" value="100" />

      <indentOptions>

        <option name="INDENT_SIZE" value="4" />

        <option name="TAB_SIZE" value="4" />

      </indentOptions>

    </codeStyleSettings>

  </code_scheme>

</component>

获取xml中的部分标签的属性及内容

from lxml import etree

import pathlib

xml_path = pathlib.Path(__file__).parent.joinpath("test.xml")

html = etree.parse(xml_path, parser=etree.XMLParser())

content = html.xpath(

    "/component[@name='ProjectCodeStyleConfiguration']/ \

    code_scheme[@name]/HTMLCodeStyleSettings//option"

)

for item in content:

    # 获取标签的名称

    print(item.tag)

    # 获取标签中间的文本内容

    print(item.text)

    # 获取标签的所有属性，以字典形式返回

    print(item.attrib)


option

None

{'name': 'HTML_SPACE_INSIDE_EMPTY_TAG', 'value': 'true'}

option

None

{'name': 'HTML_ENFORCE_QUOTES', 'value': 'true'}

与html解析类似，主要是对于xpath语法的熟悉

补充

以上均需要xpath语法支撑，详细可见:xpath语法

python 操作xml、html文件的更多相关文章

  1. 使用python操作XML增删改查

    使用python操作XML增删改查 什么是XML? XML 指可扩展标记语言(EXtensible Markup Language) XML 是一种标记语言,很类似 HTML XML 的设计宗旨是传输 ...

  2. python操作xml文件

    一.什么是xml? xml即可扩展标记语言,它可以用来标记数据.定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言. abc.xml <?xml version="1.0&q ...

  3. 三十二、python操作XML文件

    '''XML:模块 xml总结 1.解析 str 文件 tree,ElementTree,type root,Element,type2.操作 Element: tag,text,find,iter, ...

  4. 如何用python操作XML文件

    备注: 基于python3 背景:在统计覆盖率的时候希望绕属性name为test的节点 具体实现源码如下所示,基本都是基于节点属性操作的,当然也就可以基于tag等其他标签去做,可根据需要调整 from ...

  5. Python 操作 MS Excel 文件

    利用 Python 对 Excel 文件进行操作需要使用第三方库: openpyxl,可执行 pip install openpyxl 进行安装 1. 导入 openpyxl 模块 导入 openpy ...

  6. python操作haproxy.cfg文件

    需求 1.查 输入:www.oldboy.org 获取当前backend下的所有记录 2.新建 输入: arg = { 'bakend': 'www.oldboy.org', 'record':{ ' ...

  7. python操作excel表格文件--使用xlrd模块

    原文: http://www.cnblogs.com/lhj588/archive/2012/01/06/2314181.html 引言: 实际工作中,可能很多情况下都会用到excel表格,像如果不需 ...

  8. python操作上级子文件

    . └── folder ├── data │ └── data.txt └── test1 └── test2 └── test.py import os '***获取当前目录***'print o ...

  9. Python实现XML的操作

    本文从以下两个方面, 用Python实现XML的操作: 一. minidom写入XML示例1 二. minidom写入XML示例2 三. ElementTree写入/修改示例 四. ElementTr ...

随机推荐

  1. 运维：ITSM

    IT服务管理(ITSM)是一套帮助企业对IT系统的规划.研发.实施和运营进行有效管理的方法,是一套方法论.ITSM起源于ITIL(IT Infrastructure Library,IT基础架构标准库 ...

  2. 什么是请求参数、表单参数、url参数、header参数、Cookie参数？一文讲懂

    最近在工作中对 http 的请求参数解析有了进一步的认识,写个小短文记录一下. 回顾下自己的情况,大概就是:有点点网络及编程基础,只需要加深一点点对 HTTP 协议的理解就能弄明白了. 先分享一个小故 ...

  3. 设计并实现大数类 BigNum

    学习任务:设计并实现大数类 BigNum 代码示例: import java.util.Scanner; public class BigNum { private double num; publi ...

  4. java 5种IO模型

    每日一句 人的痛苦会把自己折磨到多深呢? 每日一句 You cannot swim for new horizons until you have courage to lose sight of t ...

  5. MongoDB 分片集群

    每日一句 Medalist don't grow on trees, you have to nurture them with love, with hard work, with dedicati ...

  6. 二进制固件函数劫持术-DYNAMIC

    背景介绍  固件系统中的二进制文件依赖于特定的系统环境执行,针对固件的研究在没有足够的资金的支持下需要通过固件的模拟来执行二进制文件程序.依赖于特定硬件环境的固件无法完整模拟,需要hook掉其中依赖于 ...

  7. 实验一：在FW上配置静态路由实现互通

    实验:在FW上配置静态路由实现互通 网络拓扑图 一.配置步骤 1.配置IP地址 R1: FW: ISP:       2.配置路由 ①在R2上面配置静态路由 ②在ISP上面配置静态路由 3.在FW上配 ...

  8. 什么是Gerber文件？PCB电路板Gerber文件简介

    什么是Gerber文件: Gerber也叫"光绘",通常只代表一种格式如RS-274, 274D, 274X等,充任了将设计的图形数据转换成PCB制造的两头媒介,即一种CAD-CA ...

  9. SQL的语法

    SQL的语法 SQL通用语法 SQL语句可以单行或多行书写,以分号(";")结尾. SQL语句可以使用空格或缩进增强可读性. MySQL数据库的SQL语句不区分大小写(建议关键字大 ...

  10. Spring Cloud入门看这一篇就够了

    目录 SpringCloud微服务 架构演进 服务调用方式: Euraka服务注册中心 注册中心 服务提供者(服务注册) 服务消费者(服务发现) 服务续约 失效剔除和自我保护 Consul 特性 Co ...