Python的lxml是一个相当强悍的解析html、XML的模块，最新版本支持的python版本从2.6到3.6，是写爬虫的必备利器。它基于C语言库libxml2 和 libxslt，进行了Python范儿(Pythonic)的绑定，成为一个具有丰富特性又容易使用的Python模块。虽然特性丰富，但是它在修改数节点时又缺少了些接口，比如本文讲到的获取 inner html 和 设置（修改）inner html功能。

解析网页的html一般使用lxml.html模块，步骤很简单分三步走：

(1) 导入模块：

import lxml.html

(2) 把html转换为html document 树，根节点就是<html>标签：

doc = lxml.html.fromstring(html)

(3) 使用xpath查找要提取的节点：

nodes = doc.xpath('//div[@class, 'the']/div[@id, 'xpath']')

以上三步分成简洁，实际使用中，可能要反复第三部，通过不同的xpath获得不同的节点进行数据提取。

可以说，lxml解析（只读模式）html的功能又强大又方便。但是，如果需要修改（写模式）某些节点的html就有点困难了，它在这方面提供的API很少，只有修改节点tag属性的API，比如修改节点的class，id，href等属性是可以的。

那么如何操作节点的实际html字符串呢？

1. 获取节点的inner html
那么，什么是inner html呢？首先，我们来看一段html代码示例：

<div class=”text”>这是div<a href=”/node”>节点</a>内容</div>

对于div 这个html标签节点，它的inner html就是:

这是div<a href=”/node”>节点</a>内容

即该标签包含的所有内容；而包含div标签在内的全部示例代码就是div的outer html。

明白了inner html 和 outer html的概念，我们就着手获取它们。

lxml.html.tostring(html_element) 接口的作用是把一个节点及其子节点形成的树转换成html，也就是该节点的outer html，由此我们来获得inner html，并实现为以下函数：

def get_inner_html(node):

    html = lxml.html.tostring(node, encoding="utf8").decode('utf8')

    p_begin = html.find('>') + 1

    p_end = html.rfind('<')

    return html[p_begin: p_end]

　

2. 设置节点的inner html
设置inner html相较于获取更复杂一些，我们还是以上面那段html代码为例：

<div class=”text”>这是div<a href=”/node”>节点</a>内容</div>

假设我们要把它的inner html 改成如下字符串：

this is div<a href=”/node”>node</a>text

则操作步骤是：

清空节点div里面的内容：包括它的text和子节点

把新的inner html转变成fragments

把fragments加到清空后的div节点

把以上步骤写出Python函数就是：

def set_inner_html(node, html):

    node.text = ''

    for child in node.getchildren():

        node.remove(child)                                                                                                                                           4

    fragments = lxml.html.fragments_fromstring(html)

    if type(fragments[0]) == str:

        node.text = fragments.pop(0)

    node.extend(fragments)

　　

通过以上函数就可以成功把node里面的内容设置成想要的html内容，适合在动态修改网页结构内容时使用。

更多Python技术文章可以看 猿人学 

Python爬虫解析htm时lxml的HtmlElement对象获取和设置inner html方法的更多相关文章

  1. Python爬虫解析网页的4种方式 值得收藏

    用Python写爬虫工具在现在是一种司空见惯的事情,每个人都希望能够写一段程序去互联网上扒一点资料下来,用于数据分析或者干点别的事情. ​ 我们知道,爬虫的原理无非是把目标网址的内容下载下来存储到内存 ...

  2. python语法学习第十天--类与对象相关的BIF、魔法方法

    一些相关的BIF: issubclass(class,classInfo)#判断是否为子类,classInfo可以为多个类的元组,其中一个是,返回true,一个类也被认为是自己的子类,object是所 ...

  3. python爬虫中XPath和lxml解析库

    什么是XML XML 指可扩展标记语言(EXtensible Markup Language) XML 是一种标记语言,很类似 HTML XML 的设计宗旨是传输数据,而非显示数据 XML 的标签需要 ...

  4. python bs4解析网页时 bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to inst（转）

    Python小白,学习时候用到bs4解析网站,报错 bs4.FeatureNotFound: Couldn't find a tree builder with the features you re ...

  5. Python 爬虫 解析库的使用 --- XPath

    一.使用XPath XPath ,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言.它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索. 所 ...

  6. Python 爬虫 解析库的使用 --- Beautiful Soup

    知道了正则表达式的相关用法,但是一旦正则表达式写的有问题,得到的可能就不是我们想要的结果了.而且对于一个网页来说,都有一定的特殊结构和层级关系,而且有很多节点都有id或class来做区分,所以借助它们 ...

  7. python爬虫解析页面数据的三种方式

    re模块 re.S表示匹配单行 re.M表示匹配多行 使用re模块提取图片url,下载所有糗事百科中的图片 普通版 import requests import re import os if not ...

  8. python爬虫解析库之Beautifulsoup模块

      一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会 ...

  9. Python爬虫 XPath语法和lxml模块

    XPath语法和lxml模块 什么是XPath? xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. X ...

随机推荐

  1. C2B电商三种主要模式的分析_数据分析师

    C2B电商三种主要模式的分析_数据分析师 在过去的一年中电商领域血雨腥风,尤其是天猫.京东.苏宁.当当.易讯等B2C电商打得不亦乐乎.而随着B2C领域竞争进入白热化阶段,C2B模式也在天猫" ...

  2. JAVA 基础编程练习题11 【程序 11 求不重复数字】

    11 [程序 11 求不重复数字] 题目:有 1.2.3.4 个数字,能组成多少个互不相同且无重复数字的三位数?都是多少? 程序分析:可填在百位.十位.个位的数字都是 1.2.3.4.组成所有的排列后 ...

  3. Linux命令集锦：tmux命令

    tmux是一款优秀的终端复用软件,平时用到的强大功能有下面两个: 窗口管理:同时启用多个窗口: 保护现场:连接到远程主机之后,一旦断开,那么当前账户登录的任务就被取消了,但是使用 tmux 可以在断开 ...

  4. springboot和jsp,以及引入jquery

    包: src: main: java: resources: static: templates: test: 2.在static导入jquery源文件,在templates写入jsp文件 3.配置文 ...

  5. System.arraycopy() 数组复制方法

    一.深度复制和浅度复制的区别    Java数组的复制操作可以分为深度复制和浅度复制,简单来说深度复制,可以将对象的值和对象的内容复制;浅复制是指对对象引用的复制. 二.System.arraycop ...

  6. 导出设计文档总结 plantUML Graphviz jacob

    plantUML https://blog.csdn.net/HelloWorld998/article/details/90676496 http://skyao.github.io/2014/12 ...

  7. UML类图与时序图

    UML统一建模语言 结构式图形: 静态图(类图,对象图,包图) 实现图(组件图,部署图) 剖面图 复合结构图 行为式图形: 活动图 状态图 用例图 交互式图形: 通信图 交互概念图(2.0) 时序图( ...

  8. 二叉树实例学习（四）——获取节点的高度函数getHight()

    树T中所有节点深度的最大值称为该树的高度(height),实际上每个节点与其所有子节点都可以看做一颗树,也就是说除了根结点,所有子结点都可以看做是一颗子树,因此每个结点都有树高.在本程序中约定,仅含单 ...

  9. AP注册

    1.ac发现ap 两种模式:二层发现.三层发现 按ap与ac所处ip网段不同,可以把注册过程分为二层模式和三层模式: 两种模式均通过发送discovery报文进行,二层模式discovery报文仅在同 ...

  10. 关于lombok插件的使用，强大的简化代码工具

    关于下载和安装lombok插件,过程特别简单,可以参考: https://blog.csdn.net/longloveqing/article/details/81539749 安装好后,下面介绍下l ...