之前解析LXML,用的是XPath，现在临时被抓取写爬虫，接人家的代码，看到用的是BeautifulSoup，稍微学了下，也挺好用的，简单记录下用法，有机会做下和Xpath的对比测试

初始化

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,"lxml")

得到soup之后，就开始提取一些比较有用的信息，比如标题：可以直接使用

soup.title

得到的结果，是带标签的，类似这种形式：<title>title</title>，但显然我们只要里面的有效信息，当然简单粗暴的话，直接用正则表达式，拿出来也是OK的

前面API不熟，项目又催的紧，我就这么干的，现在普及下他的API

print soup.title.string

print soup.title.next

print soup.title.next_element

这些都是可以得到里面那个title的，但是注意下，string的话，对于里面有多个标签的，不太好使。类似这种：<p class="hello" id="1">hello1<strong> world</strong></p>

对于这种情况，就需要使用下strings,如下所示：

pc= soup.body.p

print pc

print pc.string

for s in pc.strings:

    print s

另外要注意的一点是：直接用soup.tag的方式，是得到第一个元素的，当有多个元素同样的元素，需要提取的时候，不太好使，这时候需要使用下他的find_all函数，例如：

<html>

    <title>title</title>

    <body>

        <p id='1' class='hello'>hello1<strong> world</strong></p>

        <p id='2'>hello2

        </p>

        <p id='3'>hello3</p>

        <p id='4'>hello4</p>

        <img src="abc.jpeg"/>

        <a href="http://www.baidu.com"></a>

    </body>

</html>

我要提取所有的p中的元素，可以使用：

print soup.body.find_all("p")

当然，如果我只想要那个有class的p，怎么搞呢？

print soup.body.find_all("p",attrs={"class":"hello"})

依次类推，我们可以只提取id=3的p

那么问题来了，我现在想要找那个有class属性的p的id，怎么搞

很简单，找到对应的p之后，我们使用p['id']即可得到那个id对应的value了，但是要注意的是我们使用的是find_all方法，找到的p肯定是多个（虽然在我们这个例子里面只有一个），所以想说的是，给的肯定是一个集合，所以我们需要注意下这点：

p= soup.body.find_all("p",attrs={"class":"hello"})

print type(p)

print p[0]['id']

有了find_all之后，有时候，我们不需要那么多，我只要满足条件的第一个就可以，所以，很自然的就有find函数，方法差不多，直接忽略了

还有要注意的是找兄弟，和找父节点（后者用的比较少）

pc= soup.body.p

# 找到他的兄弟节点，用这个 属于迭代方式

for item in  pc.next_siblings:

    print item.__str__().replace("\n","")

#找到他的下一个兄弟

print pc.find_next_sibling()

# 找父节点

print pc.parent

下面来一个终极大招，现在要找一个既有class属性又有id属性的怎么搞？

def has_class_with_id(html):

    return html.has_attr('class') and  html.has_attr('id')

result = soup.find_all(is_right)

for item in result:

    print result

再来个难点的，我需要找到class=hello并且id=1的怎么搞？

def is_right(html):

    print html

    print html.has_attr('class')

    print html.has_attr('id')

    if html.has_attr('class'):

        print html['class'][0]

    if html.has_attr('id'):

        print html['id']

    print ""

    return html.has_attr('class') and  html.has_attr('id') and html['class'][0]=="hello" and html['id']=="1"

注意下，class可能含多个，所以它也是一个集合

python BeautifulSoup的更多相关文章

  1. 【转】Python BeautifulSoup 中文乱码解决方法

    这篇文章主要介绍了Python BeautifulSoup中文乱码问题的2种解决方法,需要的朋友可以参考下 解决方法一: 使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输 ...

  2. Python -- BeautifulSoup的学习使用

    BeautifulSoup4.3 的使用 下载和安装 # 下载 http://www.crummy.com/software/BeautifulSoup/bs4/download/ # 解压后 使用r ...

  3. Python beautifulsoup模块

    BeautifulSoup中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ BeautifulSoup下载:http://w ...

  4. Python - BeautifulSoup 安装

    BeautifulSoup 3.x 1. 下载 BeautifulSoup. [huey@huey-K42JE python]$ wget http://www.crummy.com/software ...

  5. Python BeautifulSoup中文乱码问题的2种解决方法

    解决方法一: 使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家首先是代码 from bs4 import Beautif ...

  6. python BeautifulSoup库的基本使用

    Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree). 它提供简单又常用的导航(navigating),搜索以 ...

  7. python BeautifulSoup的简单使用

    官网:https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 参考:https://www.cnblogs.com/yupeng/p/336203 ...

  8. python BeautifulSoup 介绍--安装

    Python中,专门用于HTML/XML解析的库: 特点是: 即使是有bug,有问题的html代码,也可以解析. BeautifulSoup主要有两个版本 BeautifulSoup 3 之前的,比较 ...

  9. python BeautifulSoup库用法总结

    1. Beautiful Soup 简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: Beautiful Soup提供一些简单的.pyt ...

  10. python beautifulsoup/xpath/re详解

    自己在看python处理数据的方法,发现一篇介绍比较详细的文章 转自:http://blog.csdn.net/lingojames/article/details/72835972 20170531 ...

随机推荐

  1. nova状态同步

    服务初始化阶段 nova-compute服务启动时调用manager中的host初始化函数 self.manager.init_host() 在host初始化函数中完成如下操作: #初始化libvir ...

  2. Tomcat源码学习（1）

    Tomcat源码学习(1) IntelliJ IDEA 17.3.3 导入 Tomcat 9.0.6源码 下载源码 tomcat_9.0.6 启动 IDEA. 点击 Open,选择刚才下载的文件解压后 ...

  3. PHP学习 例外和错误处理

    <?phptry{ open_folder("C:\\book");}catch(Exception $ex) { echo 'Error Message:'.$ex-> ...

  4. 【Alpha】第三次Scrum meeting

    今日任务一览: 导航栏诞生 前期准备的Latex文本将撰写完毕 生成燃尽图的问题已经解决 姓名 今日完成任务 所耗时间 刘乾 用Github成功生成了燃尽图(真是不容易啊...),与架构师继续每日面基 ...

  5. 第一周：通过汇编一个简单的C程序，分析汇编代码理解计算机是如何工作的

    姓名:吕松鸿 学号:20135229 ( *原创作品转载请注明出处*) ( 学习课程:<Linux内核分析>MOOC课程http://mooc.study.163.com/course/U ...

  6. 图文转化(Alpha)版使用说明

    图文转化使用说明 本软件是一款扫描图片上的文字转化成txt或doc格式存储的软件. 现在还只是初期简单的一个实现,软件暂时的界面显示如下: 简介:照片选取的是手机里的本地照片,拍照打开照相机进行拍照. ...

  7. Map Wiki -- proposed by Shuo Ren

    Map Wiki —— 基于Bing地图的生活百科 在旅游.逛街或是闲逛的时,很多时候,我们往往想要对于身边的美食.医院.旅馆.购物.学习.景点等信息有进一步认识.在这时,我们大多会再打开百度或者大众 ...

  8. ElasticSearch 2 (36) - 信息聚合系列之显著项

    ElasticSearch 2 (36) - 信息聚合系列之显著项 摘要 significant_terms(SigTerms)聚合与其他聚合都不相同.目前为止我们看到的所有聚合在本质上都是简单的数学 ...

  9. ElasticSearch 2 (30) - 信息聚合系列之条形图

    ElasticSearch 2 (30) - 信息聚合系列之条形图 摘要 版本 elasticsearch版本: elasticsearch-2.x 内容 聚合还有一个令人激动的特性就是能够十分容易地 ...

  10. 解决Delphi 2010启动时出现cannot create xxxx\EditorLineEnds.ttr问题

    由于在Windows安装了最近的更新(KB2982791, KB2970228)后,Delphi的IDE需要创建的一个文件%TEMP%\EditorLineEnds.ttr会被系统锁定,导致除非重新启 ...