BeautifulSoup

　　bs是个html解析模块,常用来做爬虫？

　　■　　安装

　　BeautifulSoup可以通过pip来安装，用pip install beautifulsoup4　即可。但是仅仅这样安装的bs，其默认的html解析器是python自带的HTMLParser模块，性能不是很好。可以考虑安装性能更加好的lxml和html5lib模块：pip install html5lib

　　

　　■　　基本用法

　　BeautifulSoup有官方文档，可以查阅

　　①　建立BeautifulSoup对象，它是基于一个html字符串或者一个文件

from bs4 import BeautifulSoup

soup = BeautifulSoup("...一串html")

#或者

soup = BeautifulSoup(open("文件路径","r"))

print soup.prettify()    #可以美化这段html并打印出来

　　②  四类对象

　　　bs将一个html抽象成一个树形结构，每个节点都是一个python里的对象。共分成了四种对象。

　　　●　　Tag类对象

　　　　即html中的标签，BeautifulSoup对象（以上面代码中的soup为例）可以直接在后面接上某种标签的名称，得到的对象是该种标签在这段html中的第一个实例。

　　　　比如对于print soup.h1 >>> <h1 class="...">...</h1>  （bs里的html对象是可打印的，打印出来就是html原文）

　　　　每个Tag类对象都有两个属性，name和attrs。

　　　　name就是标签的名字，而attrs是个字典，里面记录了所有这个tag的属性值。比如有tag是<h1 class="space-seo space-meta" name="testname">HELLO</h1>

　　　　其name就是u'h1',而attrs是{u'class':[u'space-seo',u'space-meta'],u'name':u'testname'}　　//注意区别tag对象的name属性和写在attrs里面的name属性的区别，另外所有被存到变量里的html内容全部都变成了unicode对象。在print的时候可以指定encode，默认encode是utf-8。还有，所有class属性都默认都被解析成一个列表，即便只有一个class值，也会成为[u'class_value']

　　　　当然，在定位到Tag对象之后可以获取查看其属性值，另一方面，也可以对其属性值等进行修改，修改完了之后就是存在内存中的这个变量里面的，最终可以输出成文件的形式。

　　　●　　String对象　　//selenium用的是text来指代标签内部的文本内容，而bs用的是string。而且对于<div>这种本身不带文本带后辈节点可能带文本的标签两者意义不同。selenium中的.text会带出来所有后辈节点中的文本，而bs中的这个.string返回的是None

　　　　String对象用于代表每个元素所含的文字部分，在标签后面加上.string即可调用

　　　　print soup.h1.string >>> HELLO

　　　　注意，某个Tag对象的子节点以及子节点里面的内容都不算进string，当一个元素（比如<div>这种）里面只有子节点，本身没有文字的话，得到的就是None。

　　  ●　　BeautifulSoup对象

　　　　指代整个文档的对象。可以视为是<html>的对象。其实之前创建的BeautifulSoup对象soup，就是指代整个html文档

　　  ●　　comment对象

　　　　用于代表某个元素内的注释

■　　遍历文件树

　　　　除了上面提到的一些基本属性，Tag对象（包括BeautifulSoup对象）都含有以下属性:

　　　　Tag.contents　　将某个Tag的各个子节点（不包括孙和孙以下节点）按照列表的方式输出

　　　　Tag.children　　返回一个上述列表的迭代器，也只有子节点（没有孙和孙以下节点）

　　　　Tag.descendants　　返回一个迭代器，内容是所有后辈节点

　　　　Tag.strings　　返回Tag中所有的文字部分的生成器，保留换行，制表符等空格。相当于是prettify之后去掉所有html标签的文本状态。

　　　　Tag.stripped_strings　　和上一项相比，再去掉所有空白字符，只保留有实际字符的文本部分。这两个方法常用于对被分析网页文本的搜索和处理。

　　　　Tag.parent　　父节点

　　　　Tag.parents　　长辈节点的迭代器

　　　　Tag.next_sibling　　下一个同辈节点（如果没有同辈就返回None，下同）

　　　　Tag.previous_sibling　　上一个同辈节点

　　　　Tag.next_sibilings　　之后所有同辈节点的迭代器

　　　　Tag.previous_sibilings　　之前所有同辈节点的迭代器

　　　　//关于同辈节点有一个坑。。在看起来比较美观的HTML文档中，总是有很多换行符合制表符的。而在BS中如果要调用一个同辈节点，那么这些空白的文本节点也都会被算进去。比如：

#<p><span>one</span><span id="main">two</span></p>

print soup.find(name="span",attrs={"id":"main"}).previous_sibling

#得到的是<span>one</span>

#如果处理的是这样一段HTML：

#<p>

#    <span>one</span>

#    <span id="main">two</span>

#</p>

print repr(soup.find(name="span",attrs={"id":"main"}).previous_sibling)

#得到的是"\n\t"因为在第一个span之前有一段空白文本被当做一个节点了。

　　　　然而在通过这个span.parent寻找p或者是通过p.children寻找span的时候，这些空白文本节点都不会被算进去。所以只有在引用同辈节点的时候要注意。

　　　　

　　　　Tag.next_element　　下一个元素，包括string对象，子节点，同辈分节点在内，无视辈分的下一个

　　　　Tag.previous_element　　上一个元素，说明同上

　　　　Tag.next_elements　　next_element的迭代器

　　　　Tag.previous_elements　　previous_element的迭代器

　　　　

　　■　　检索文件树方法

　　　　●　　Tag.find_all(name,attr,recursive,text,**kwargs)　方法。功能是检索Tag内所有后辈节点，并判断是否符合某种条件，最后返回一个列表

　　　　　　1.　　name参数

　　　　　　name参数可以直接写Tag.name。比如find_all("p")，find_all("div")等

　　　　　　也可以写正则表达式（re.compile之后的对象）。比如find_all(re.compile("^b"))

　　　　　　也可以写列表，比如find_all(['a','p'])

　　　　　　甚至可以写一个函数对象，这时就要自己定义这个函数了。这个函数要接收一个Tag对象来作为参数，并最终返回True或者False来告诉find_all这个对象该不该被find进去

　　　　　　2.　　attr参数

　　　　　　attr参数可以指定一个字典的形式来过滤，比如find_all(attrs={'id':'testid'})就是找到所有id是testid的元素

　　　　　　3.　　text参数

　　　　　　用于搜索字串内容。也可以支持name参数中那几种写的形式。注意，返回的不是对象的列表，而是文本的列表。当name和text的参数同时出现的话，text会作为name的一个附加条件，返回的还是带标签的列表。

　　　　　　4.　　recursive参数

　　　　　　默认是True，可改成False放弃递归进子辈以下子节点。只检索第一级的子节点。

　　　　　　5.　　limit参数

　　　　　　有时候文档太大了，检索所有元素很费时间，limit可以指定一个数值，当检索找到了这个数量的目标之后就停止检索

　　　

　　　  ●　　Tag.find方法：参数和find_all一致，只不过其返回的不是一个列表，而是找到第一个就返回了。

　　　  ●　　Tag.find_parents　　　　Tag.find_parent

　　　　　　Tag.find_next_sibilings　　　　Tag.find_next_sibiling

　　　　　　Tag.find_previous_sibilings　　　　Tag.find_previous_sibiling

　　　　　　Tag.find_all_next　　　　Tag.find_next

　　　　　　Tag.find_all_previous　　Tag.find_previous

　　　　　　以上所有方法，每行前一个和后一个的关系就是find_all和find的关系。而每一行相当于是为检索指定了一个大致的范围。比如说find_all和find是在所有后辈节点中检索的话，那么find_parents和find_parent就是在所有长辈节点中寻找，find_next_sibilings和find_next_sibiling就是在所有后面的同辈节点中寻找等等

　　　　

　　　  ●　　Tag.select("selector")　　可以借助select方法来确定一个或多个特定的元素，默认查找全部符合的元素并返回一个列表。selector的语法就是jQuery里面selector的语法。这个方法还是比较实用的。与之相对的有select_one方法，只返回第一个查找到的元素。

总的来说，不管是通过一个节点，遍历文件树的方法来找到想要获得的节点对象，还是通过检索方法来定位一个节点对象，都是寻找对象的一种方法。很难说哪种最好哪种不好，应该要灵活运用。

【Python】 html解析BeautifulSoup的更多相关文章

  1. 【Python爬虫】BeautifulSoup网页解析库

    BeautifulSoup 网页解析库 阅读目录 初识Beautiful Soup Beautiful Soup库的4种解析器 Beautiful Soup类的基本元素 基本使用 标签选择器 节点操作 ...

  2. python爬虫解析库之Beautifulsoup模块

      一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会 ...

  3. 第14.12节 Python中使用BeautifulSoup解析http报文：使用select方法快速定位内容

    一. 引言 在<第14.10节 Python中使用BeautifulSoup解析http报文:html标签相关属性的访问>和<第14.11节 Python中使用BeautifulSo ...

  4. 第14.11节 Python中使用BeautifulSoup解析http报文：使用查找方法快速定位内容

    一. 引言 在<第14.10节 Python中使用BeautifulSoup解析http报文:html标签相关属性的访问>介绍了BeautifulSoup对象的主要属性,通过这些属性可以访 ...

  5. 第14.10节 Python中使用BeautifulSoup解析http报文：html标签相关属性的访问

    一. 引言 在<第14.8节 Python中使用BeautifulSoup加载HTML报文>中介绍使用BeautifulSoup的安装.导入和创建对象的过程,本节介绍导入后利用Beauti ...

  6. Python网页解析

    续上篇文章,网页抓取到手之后就是解析网页了. 在Python中解析网页的库不少,我最开始使用的是BeautifulSoup,貌似这个也是Python中最知名的HTML解析库.它主要的特点就是容错性很好 ...

  7. Python 爬虫 解析库的使用 --- Beautiful Soup

    知道了正则表达式的相关用法,但是一旦正则表达式写的有问题,得到的可能就不是我们想要的结果了.而且对于一个网页来说,都有一定的特殊结构和层级关系,而且有很多节点都有id或class来做区分,所以借助它们 ...

  8. python爬虫解析页面数据的三种方式

    re模块 re.S表示匹配单行 re.M表示匹配多行 使用re模块提取图片url,下载所有糗事百科中的图片 普通版 import requests import re import os if not ...

  9. python中的BeautifulSoup使用小结

    1.安装 pip install beautifulsoup4 2.代码文件中导入 from bs4 import BeautifulSoup 3. 解析器 使用方法 优势 劣势 Python标准库 ...

  10. python学习(25) BeautifulSoup介绍和实战

    BeautifulSoup是python的html解析库,处理html非常方便 BeautifulSoup 安装 pip install beautifulsoup4 BeautifulSoup 配合 ...

随机推荐

  1. mongodb副本集中其中一个节点宕机无法重启的问题

    2-8日我还在家中的时候,被告知mongodb副本集中其中一个从节点因未知原因宕机,然后暂时负责代管的同事无论如何就是启动不起来. 当时mongodb的日志信息是这样的: 实际上这里这么长一串最重要的 ...

  2. linux内核升级（ubuntu12.04从3.13.0升级到3.4.0 ）

    花了一天的时间,终于把ubuntu12.04 的linux内核版本从3.13.0升级到3.4.0 升级后,系统更加稳定.具体步骤:# wget http://www.kernel.org/pub/li ...

  3. Windows控制台下绘制简单图形

    最近接触到一个很有意思的问题,如何在Windows控制台下画图,翻遍了C的头文件也没找到画图的函数,好吧,那就用Windows提供的API函数吧,看来想移植是没戏了.先画一个简单的图,类似心电图那种吧 ...

  4. free 或delete后指针怎么样了

    free()和delete()只是把指针所指向的内存释放掉,但是并没有把指针本身删除,也没有把指针置为NULL; #include<iostream> using namespace st ...

  5. 列出JDK中常用的Java包

    列出JDK中常用的Java包 1.java.lang 2.java.sql 3.java.io 4.java.math 5.java.text 6.java.net 7.java.util 8.jav ...

  6. Django学习-21-表关系参数

    一对多关系 ForeignKey(ForeignObject) # ForeignObject(RelatedField) to, # 要进行关联的表名 to_field=None, # 要关联的表中 ...

  7. NOIP2010题解

    所有题目链接均来自洛谷 T1机器翻译 原题戳这里 自古T1是水题 因为每一个数字都小于1000,所以对于是否在队列中可以开数组查询 对于大小的限制,弄一个队列维护大小即可(水题呀...) 这题在Win ...

  8. [ZJOI2007]时态同步

    题目描述 小Q在电子工艺实习课上学习焊接电路板.一块电路板由若干个元件组成,我们不妨称之为节点,并将其用数字1,2,3….进行标号.电路板的各个节点由若干不相交的导线相连接,且对于电路板的任何两个节点 ...

  9. java 提取目录下所有子目录的文件到指定位置

    package folder; import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundExcept ...

  10. 链接生成二维码-PHP

    原文:http://www.upwqy.com/details/20.html 链接生成二维码 首先下载phpqrcode phpqrcode.zip 我这里使用的是TP5,把下载好的类库 放入到ex ...