BeautifulSoup网页解析库

from bs4 import BeautifulSoup

0.BeautifulSoup网页解析库包含 的 几个解析器

  • Python标准库【主要,系统自带;】

    使用方法： BeautifulSoup(markup,"html.parser")【注：markup是html文档】

    Python的内置标准库

    案例：



from bs4 import BeautifulSoup

soup = BeautifulSoup.(html,'html.parser')

print(soup.title.string)

  • lxmlHTML解析器

    BeautifulSoup(markup,'lxml)

    速度快、需要安装C语言库

  • lxml XML解析器

    使用方法：BeautifulSoup(markup,"xml")

    速度快，唯一支持XML的解析器、需要安装C语言库

  • html5lib

    BeautifulSoup(markup,"html5lib")

    容错性好，以浏览器的形式解析文档，生成html5格式的文档，但是速度慢

1.BeautifulSoup基本使用



#!/usr/bin/env python

# -*- coding:utf-8 -*- 

html="""

    <html>

        <head>

            <title>The Domouse's story</title>

        </head>

        <body>

            <p class="title" name="Domouse"><b>The Domouse's story</b></p>

            <p class="story">Once upon a time there were three little sisters;and their names were</p>

            <a href="http://www.baidu.com">百度</a>

            <p class="story">...</p>

        </body>

    </html>

    """

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'lxml')

#获取标签正文内容

print("标签内正文内容：" + soup.title.name)

#获取属性内容

print("属性内容" + soup.p.attrs['name'])

#获取内容

print("获取内容" + soup.p.string)

#获取嵌套内容（多个筛选条件）

print("获取嵌套内容" + soup.head.title.string)

#子节点 和 孙节点【重要，，当目标标签没有id 或 class时候必须用这个】

print("子节点" + soup.p.contents)   #全部子节点，返回的是列表形式

print("子节点" + soup.p.contents[2])   #第三个一级子节点，不管是什么标签

#1. 子节点#子节点【迭代器，只能用循环形式拿到数据】

soup = BeautifulSoup(html,"lxml")

print(soup.p.children)

for i,child in enumerate(soup.p.children):

    print(i,child)

#2.子孙节点

soup = BeautifulSoup(html,"lxml")

print(soup.p.descendants)

for i,child in enumerate(soup.p.descendants):

    print(i,child)

#父节点 和 祖先借点

print(list(enumerate("父节点：" + soup.a.parent))) #父节点

print(list(enumerate("祖父节点：" + soup.a.parent))) #祖父点

#获取兄弟节点

print("后面的兄弟节点" + list(enumerate(soup.a.next_siblings)))    #后面的兄弟节点

print("前面的兄弟节点" + list(enumerate(soup.a.previous_slblings)))    #前面的兄弟节点

Python_爬虫_BeautifulSoup网页解析库的更多相关文章

  1. 【Python爬虫】BeautifulSoup网页解析库

    BeautifulSoup 网页解析库 阅读目录 初识Beautiful Soup Beautiful Soup库的4种解析器 Beautiful Soup类的基本元素 基本使用 标签选择器 节点操作 ...

  2. 网页解析库-Xpath语法

    网页解析库 简介 除了正则表达式外,还有其他方便快捷的页面解析工具 如:lxml (xpath语法) bs4 pyquery等 Xpath 全称XML Path Language, 即XML路径语言, ...

  3. Python网页解析库：用requests-html爬取网页

    Python网页解析库:用requests-html爬取网页 1. 开始 Python 中可以进行网页解析的库有很多,常见的有 BeautifulSoup 和 lxml 等.在网上玩爬虫的文章通常都是 ...

  4. 第四节：Web爬虫之pyquery解析库

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  5. Python的网页解析库-PyQuery

    PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...

  6. Python3编写网络爬虫06-基本解析库Beautiful Soup的使用

    二.Beautiful Soup 简介 就是python的一个HTML或XML的解析库 可以用它来很方便的从网页中提取数据 0.1 提供一些简单的 python式的函数来处理导航,搜索,修改分析树等功 ...

  7. Python3编写网络爬虫07-基本解析库pyquery的使用

    三.pyquery 简介:同样是一个强大的网页解析工具 它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便 安装: pip install pyquery 验证: im ...

  8. 【Python爬虫】PyQuery解析库

    PyQuery解析库 阅读目录 初始化 基本CSS选择器 查找元素 遍历 获取信息 DOM操作 伪类选择器 PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎 ...

  9. 第二节：web爬虫之lxml解析库

    lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高.

随机推荐

  1. spring boot:使用async异步线程池发送注册邮件(spring boot 2.3.1)

    一,为什么要使用async异步线程池? 1,在生产环境中,有一些需要延时处理的业务场景: 例如:发送电子邮件, 给手机发短信验证码 大数据量的查询统计 远程抓取数据等 这些场景占用时间较长,而用户又没 ...

  2. linux(centos8):安装prometheus服务端/node_exporter客户端(prometheus 2.18.1)

    一,prometheus的用途 Prometheus是一个开源的系统监控和警报工具包 相比其他监控系统,它更适用于微服务的体系架构 它使用各种专用exporter,用来实现对硬件/存储/数据库/web ...

  3. 赋予楼宇“智慧大脑”：厦门双子塔3D可视化

    前言 今年10月7日,是国务院批准设立厦门经济特区40周年纪念日.1980年的这一天,国务院正式批复同意在厦门湖里地区划出一块2.5平方公里的土地,设立经济特区.厦门,成为中国最早设立的四个经济特区之 ...

  4. 一文秒懂！Python字符串格式化之format方法详解

    format是字符串内嵌的一个方法,用于格式化字符串.以大括号{}来标明被替换的字符串,一定程度上与%目的一致.但在某些方面更加的方便 1.基本用法 1.按照{}的顺序依次匹配括号中的值 s = &q ...

  5. Python开发 常见异常和解决办法

    1.sqlalchemy创建外键关系报错property of that name exists on mapper SQLAlchemy是Python编程语言下的一款开源软件,提供了SQL工具包及对 ...

  6. SSM中 spring.xml 配置文件

    <!--扫描service的impl--><context:component-scan base-package="com.aaa.ssm.service.impl&qu ...

  7. linux 卸载 umount 提示device is busy

    思路:先杀掉挂载的目录(如:/usr1/)这个进程 fuser -v /usr1/ 再卸载

  8. VirtualBox 安装Ubuntu(16.04/18.04)时显示不全的解决方法

    是是系统分辨率不同导致的问题 Alt+鼠标左键 (16.04版本亲测有效,18.04版本亲测无效)或者Win+鼠标左键 (18.04版本亲测有效)拖动安装界面,即可显示内容.

  9. Java进阶面试

    消息中间件: 1.你们公司生产环境用的是什么消息中间件? https://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484149&am ...

  10. better-scroll插件 api

    Vue中的better-scroll插件 在需要的文件中添加 import BScorll from 'better-scroll'; 引用的示例代码: let scroll = new BScrol ...