from bs4 import BeautifulSoup

import lxml

html = '''

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

'''

soup_html = BeautifulSoup(html,'html.parser')

# print(soup_html.prettify())

print(soup_html.title)#获取第一个title标签

print(soup_html.title.name)#获取第一个title标签名（感觉没啥用）

print(soup_html.title.string)#获取第一个title标签的text

print(soup_html.title.parent)#获取第一个title标签的父标签

print(soup_html.p)#获取第一个p标签

print(soup_html.p['class'])#获取第一个p标签属性为'class'的值

print(soup_html.find_all('a'))#获取所有的a标签

print(soup_html.find(id='link3'))#获取id为‘link3’的标签

print(soup_html.a.get('href'))#获取第一个a标签'href'属性的值

print(soup_html.get_text())#获取所有的文本内容

# 基本使用

print(soup_html.b)#通过这种soup.标签名 我们就可以获得这个标签的内容

# 获取属性

print(soup_html.a.attrs['href'])

print(soup_html.p['class'])

# 获取内容

# 1.string

# 2.get_text()

# 嵌套选择

print(soup_html.p.b.get_text())

# 子孙节点

print(soup_html.p.contents)#p标签下的所有字标签

print(soup_html.p.children)#<list_iterator object at 0x000002CAC07C20F0>

print(soup_html.a.descendants)#也是个迭代对象

# 父节点与祖先节点

print(soup_html.p.parent)

print(soup_html)

print(list(enumerate(soup_html.a.parent)))

# 兄弟节点

print(soup_html.a.next_siblings)#获取后面的兄弟节点s

print(soup_html.a.previous_siblings)#获取前面的兄弟节点s

print(soup_html.a.next_sibling)#获取前面的兄弟节点

print(soup_html.a.previous_sibling)#获取前面的兄弟节点

# find_all(name,attrs,recursive,text,**kwargs)

# 可以根据标签名，属性，内容查找文档

# attrs

print(soup_html.find_all('a',attrs={'id':'link1'}))

# text

print(soup_html.find_all(text="The Dormouse's story"))#返回的是文本

# css选择器

# 通过select()直接传入CSS选择器就可以完成选择

# 熟悉前端的人对CSS可能更加了解，其实用法也是一样的

# .表示class #表示id

# 标签1，标签2 找到所有的标签1和标签2

# 标签1 标签2 找到标签1内部的所有的标签2

# [attr] 可以通过这种方法找到具有某个属性的所有标签

# [atrr=value] 例子[target=_blank]表示查找所有target=_blank的标签

print(soup_html.select(''))

BeautifulSoup库的使用方法

BeautifulSoup库的使用方法的更多相关文章

  1. BeautifulSoup库children(),descendants()方法的使用

    BeautifulSoup库children(),descendants()方法的使用 示例网站:http://www.pythonscraping.com/pages/page3.html 网站内容 ...

  2. 【Python】在Pycharm中安装爬虫库requests , BeautifulSoup , lxml 的解决方法

    BeautifulSoup在学习Python过程中可能需要用到一些爬虫库 例如:requests BeautifulSoup和lxml库 前面的两个库,用Pychram都可以通过 File--> ...

  3. Python爬虫小白入门（三）BeautifulSoup库

    # 一.前言 *** 上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据.这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据. ...

  4. BeautifulSoup库的使用

    1.简介 BeautifulSoup库也是一个HTML/XML的解析器,其使用起来很简单,但是其实解析网站用xpath和re已经足矣,这个库其实很少用到.因为其占用内存资源还是比xpath更高. '' ...

  5. python网络爬虫学习笔记（二）BeautifulSoup库

    Beautiful Soup库也称为beautiful4库.bs4库,它可用于解析HTML/XML,并将所有文件.字符串转换为'utf-8'编码.HTML/XML文档是与“标签树一一对应的.具体地说, ...

  6. 基于BeautifulSoup库的HTML内容的查找

    一.BeautifulSoup库提供了一个检索的参数: <>.find_all(name,attrs,recursive,string,**kwargs),它返回一个列表类型,存储查找的结 ...

  7. BeautifulSoup库

    '''灵活又方便的网页解析库,处理高效,支持多种解析器.利用它不用编写正则表达式即可方便的实现网页信息的提取.''' BeautifulSoup库包含的一些解析库: 解析库 使用方法 优势 劣势 py ...

  8. python BeautifulSoup库的基本使用

    Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree). 它提供简单又常用的导航(navigating),搜索以 ...

  9. python爬虫学习(一)：BeautifulSoup库基础及一般元素提取方法

    最近在看爬虫相关的东西,一方面是兴趣,另一方面也是借学习爬虫练习python的使用,推荐一个很好的入门教程:中国大学MOOC的<python网络爬虫与信息提取>,是由北京理工的副教授嵩天老 ...

随机推荐

  1. Go语言规格说明书 之 类型声明（Type declarations）

    go version go1.11 windows/amd64 本文为阅读Go语言中文官网的规则说明书(https://golang.google.cn/ref/spec)而做的笔记,完整的介绍Go语 ...

  2. javascript 什么类型没有toString()?

    JS里面任何对象都有toString()方法么?不是! null和undefined就没有!虽然null用typeof看的时候,是object类型的. 另外number对象调用toString()会报 ...

  3. asp.net core 2.0 api ajax跨域问题

    API配置: services.AddCors(options => { options.AddPolicy("any", builder => { builder.W ...

  4. 实现自己的Koa2

    这部分的代码在https://github.com/zhaobao1830/koa2中demo文件夹中 Koa就是基于node自带的http模块,经过封装,监听端口,实现ctx(上下文)管理,中间件管 ...

  5. LoadRunner性能测试入门教程

    javaweb性能测试那些事 一:什么是javaweb性能测试: 二:javaweb性能测试基本流程 三:javaweb性能测试常用指标: 1:响应时间:2-5-8 原则 2:吞吐量 3:资源使用率 ...

  6. 为什么在python中推荐使用多进程而不是多线程(转载）

    最近在看Python的多线程,经常我们会听到老手说:"Python下多线程是鸡肋,推荐使用多进程!",但是为什么这么说呢? 要知其然,更要知其所以然.所以有了下面的深入研究: GI ...

  7. Ngnix日志分析

    Ngnix日志分析 cat用来读取日志内容 grep进行匹配的文本搜索 wc则进行最终的统计 grep与命令格式: grep -E “a.*b” file,ab条件同时成立 grep或命令的格式为:g ...

  8. Laravel Form 表单的数据校验

    例如,要使用手机号加验证码的方式提供登录网站的功能,那么在处理前端提交的 form 表单时,就不得不对提交的手机号及验证码做基本的数据校验. 手写规则,非常浪费时间.使用 laravel 内置的 va ...

  9. python接口自动化测试二十三：文件上传

    # 以禅道为例: 一.创建一个类,类里面写一个登录方法: import requestsclass LoginZentao(): def __init__(self, s): # 初始化 self.s ...

  10. websocket+Django+python+paramiko实现web页面执行命令并实时输出

    一.概述 WebSocket WebSocket的工作流程:浏览器通过JavaScript向服务端发出建立WebSocket连接的请求,在WebSocket连接建立成功后,客户端和服务端就可以通过 T ...