Python的lxml是一个相当强悍的解析html、XML的模块，最新版本支持的python版本从2.6到3.6，是写爬虫的必备利器。它基于C语言库libxml2 和 libxslt，进行了Python范儿(Pythonic)的绑定，成为一个具有丰富特性又容易使用的Python模块。虽然特性丰富，但是它在修改数节点时又缺少了些接口，比如本文讲到的获取 inner html 和 设置（修改）inner html功能。

解析网页的html一般使用lxml.html模块，步骤很简单分三步走：

(1) 导入模块：

import lxml.html

(2) 把html转换为html document 树，根节点就是<html>标签：

doc = lxml.html.fromstring(html)

(3) 使用xpath查找要提取的节点：

nodes = doc.xpath('//div[@class, 'the']/div[@id, 'xpath']')

以上三步分成简洁，实际使用中，可能要反复第三部，通过不同的xpath获得不同的节点进行数据提取。

可以说，lxml解析（只读模式）html的功能又强大又方便。但是，如果需要修改（写模式）某些节点的html就有点困难了，它在这方面提供的API很少，只有修改节点tag属性的API，比如修改节点的class，id，href等属性是可以的。

那么如何操作节点的实际html字符串呢？

1. 获取节点的inner html
那么，什么是inner html呢？首先，我们来看一段html代码示例：

<div class=”text”>这是div<a href=”/node”>节点</a>内容</div>

对于div 这个html标签节点，它的inner html就是:

这是div<a href=”/node”>节点</a>内容

即该标签包含的所有内容；而包含div标签在内的全部示例代码就是div的outer html。

明白了inner html 和 outer html的概念，我们就着手获取它们。

lxml.html.tostring(html_element) 接口的作用是把一个节点及其子节点形成的树转换成html，也就是该节点的outer html，由此我们来获得inner html，并实现为以下函数：

def get_inner_html(node):

    html = lxml.html.tostring(node, encoding="utf8").decode('utf8')

    p_begin = html.find('>') + 1

    p_end = html.rfind('<')

    return html[p_begin: p_end]

　

2. 设置节点的inner html
设置inner html相较于获取更复杂一些，我们还是以上面那段html代码为例：

<div class=”text”>这是div<a href=”/node”>节点</a>内容</div>

假设我们要把它的inner html 改成如下字符串：

this is div<a href=”/node”>node</a>text

则操作步骤是：

清空节点div里面的内容：包括它的text和子节点

把新的inner html转变成fragments

把fragments加到清空后的div节点

把以上步骤写出Python函数就是：

def set_inner_html(node, html):

    node.text = ''

    for child in node.getchildren():

        node.remove(child)                                                                                                                                           4

    fragments = lxml.html.fragments_fromstring(html)

    if type(fragments[0]) == str:

        node.text = fragments.pop(0)

    node.extend(fragments)

　　

通过以上函数就可以成功把node里面的内容设置成想要的html内容，适合在动态修改网页结构内容时使用。

更多Python技术文章可以看 猿人学 

Python爬虫解析htm时lxml的HtmlElement对象获取和设置inner html方法的更多相关文章

  1. Python爬虫解析网页的4种方式 值得收藏

    用Python写爬虫工具在现在是一种司空见惯的事情,每个人都希望能够写一段程序去互联网上扒一点资料下来,用于数据分析或者干点别的事情. ​ 我们知道,爬虫的原理无非是把目标网址的内容下载下来存储到内存 ...

  2. python语法学习第十天--类与对象相关的BIF、魔法方法

    一些相关的BIF: issubclass(class,classInfo)#判断是否为子类,classInfo可以为多个类的元组,其中一个是,返回true,一个类也被认为是自己的子类,object是所 ...

  3. python爬虫中XPath和lxml解析库

    什么是XML XML 指可扩展标记语言(EXtensible Markup Language) XML 是一种标记语言,很类似 HTML XML 的设计宗旨是传输数据,而非显示数据 XML 的标签需要 ...

  4. python bs4解析网页时 bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to inst（转）

    Python小白,学习时候用到bs4解析网站,报错 bs4.FeatureNotFound: Couldn't find a tree builder with the features you re ...

  5. Python 爬虫 解析库的使用 --- XPath

    一.使用XPath XPath ,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言.它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索. 所 ...

  6. Python 爬虫 解析库的使用 --- Beautiful Soup

    知道了正则表达式的相关用法,但是一旦正则表达式写的有问题,得到的可能就不是我们想要的结果了.而且对于一个网页来说,都有一定的特殊结构和层级关系,而且有很多节点都有id或class来做区分,所以借助它们 ...

  7. python爬虫解析页面数据的三种方式

    re模块 re.S表示匹配单行 re.M表示匹配多行 使用re模块提取图片url,下载所有糗事百科中的图片 普通版 import requests import re import os if not ...

  8. python爬虫解析库之Beautifulsoup模块

      一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会 ...

  9. Python爬虫 XPath语法和lxml模块

    XPath语法和lxml模块 什么是XPath? xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. X ...

随机推荐

  1. Windows 桌面利用 Navicat等工具连接 虚拟机Mysql

    1.mysql>use mysql;2.mysql>update user set host = '%' where user ='root';3.mysql>select host ...

  2. python基础学习19,01

    听说python入门很容易,所以想试试对我这个零基础会不会很友好呢.做随笔也顺便督促自己不要轻易放弃学习. #登录接口 print("请输入用户名密码") _username = ...

  3. 并发-synchronized

    线程并发-synchronized和Lock简单认知 前几天刚加深了线程的了解,期间在验证各种方法及多线程时遇到一些疑问,在高并发的情况下,怎么做才能保证程序还能按照我们预期的正常运行下去,这就是我们 ...

  4. 阿里redis

    参考: 连接: https://help.aliyun.com/document_detail/43848.html?spm=a2c4g.11186623.2.29.295542efrNOQy0 同R ...

  5. setsockopt用法详解

    最近做的一个程序用到了IOCP通信模型,里面用到了setsockopt对套接字进行设置,看源代码的时候最setsockopt函数很不理解,看了msdn以后还是不太明白这个函数的用法,于是就到网上找了一 ...

  6. scrapy生成json中文为ASCII码解决

    修改pipelines.py 即可 修改内容如下: import json import codecs import os class BaiduNewsPipeline(object): #增加的 ...

  7. 【ActiveReports 大数据分析报告】2019国庆旅游出行趋势预测

    今年国庆假期全国接待国内游客人数有望达到8亿人次! 随着2019国庆小长假的临近,不少游客已经开始着手规划假期出游路线.据权威机构发布的<2019国庆旅游趋势预测报告>显示,今年“十一黄金 ...

  8. Python面试常考点之深入浅出链表操作

    Python面试常考点之深入浅出链表操作 在Python开发的面试中,我们经常会遇到关于链表操作的问题.链表作为一个非常经典的无序列表结构,也是一个开发工程师必须掌握的数据结构之一.在本文中,我将针对 ...

  9. Asp.net core Enum as string + ef core value convertor

    更新 : 2019-06-08 build in convertor https://docs.microsoft.com/en-us/ef/core/modeling/value-conversio ...

  10. 怎样理解 Vue 中的计算属性 computed 和 methods ?

    需求: 在 Vue 中, 我们可以像下面这样通过在 引号 或 双花括号 内写 js 表达式去做一些简单运算, 这是可以的, 不过这样写是不直观的, 而且在 html 中 夹杂 一些运算逻辑这种做法其实 ...