html = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a><a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>

and they lived at the bottom of a well.</p>

<p class="story">...</p></body></html>

"""

soup=BS(html,'html.parser')

for i in soup.find_all('a'):

    print('i.text:',i.text)#注释掉的内容就不打印了  str类型

    print('i.string:',i.string)  #注释掉的内容 都会打印出来，NavigableString对象

print('soup.head.contents:',soup.head.contents,type(soup.head.contents))

print('soup.head.children:',soup.head.children,type(soup.head.children))

print('soup.body.contents:',soup.body.contents)#返回一个子元素的列表

print('soup.body.children:',soup.body.children)#返回一个子元素的迭代器

for i in soup.body.children:

    print(i)

print('子孙节点 都显示出来')

for i in soup.body.descendants:

    print(i)

print('soup.body.string:',soup.body.string)

print('soup.body.strings:',soup.body.strings)

print('soup.body.stripped_strings:',soup.body.stripped_strings)  #过滤掉所有空格显示

print('去掉空格的body子元素：')

for i  in soup.body.stripped_strings:

    print(i)

print('soup.a.parent:',soup.a.parent)

print('soup.a.next_sibling:',soup.a.next_sibling)  #注意文本节点、换行\n都可能成为当前节点的上一个或者下一个同级节点

print('soup.a.previous_sibling:',soup.a.previous_sibling)

print('soup.a.next_element:',soup.a.next_element)  #下一个元素 不一定同级

print('soup.a.previous_element:',soup.a.previous_element)

print('打印所有后面的同级节点:\n')

for i in soup.a.next_siblings:

    print(i)

print('soup.a.next_element:',list(soup.a.next_elements)[1])

print('***********find_all*****')

print(soup.find_all('a'))

print('引入正则表达式：')

import re

print(soup.find_all(re.compile(r'^title')))  #正则匹配的是 标签的名字

print('列表的方式匹配：')

print(soup.find_all(['a','b']))

print('函数的方式匹配，类似filter')

def func(tag):

    if tag.has_attr('class') and re.search(r'^a',tag.name):

        return tag

print(soup.find_all(func))

html = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a><a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>

and they lived at the bottom of a well.</p>

<p class="story">...</p></body></html>

"""

soup=BS(html,'html.parser')

print('按属性值查找:')

print(soup.find_all(id='link1'))

print(soup.find_all('a',id='link1'))

print(soup.find_all(id='link2',href=re.compile(r'laci')))  #返回的都是列表

print(soup.find_all(class_='story')) #注意后面加的下划线

print(soup.find_all(attrs={'class':'sister'}))

print('按元素内容查找text参数：')

print(soup.find_all(text='Tillie'))

print(soup.find_all(text=['Tillie','Lacie']))  #返回的都是元素内容

print(soup.find_all(text=re.compile(r'ormous')))

print('通过内容元素 找到上级元素')

print(soup.find_all(text=re.compile(r'ormous'))[1].parent.parent)

#限制查找数量

print('limit:')

print(soup.find_all('a',limit=2))

print('只在子节点查找：')

print(soup.body.find_all('a',limit=2,recursive=False))  #只查找子节点 recursive循环的、递归的

print(soup.body.find_all(class_='story',recursive=False))

python BeautifulSoup4解析网页的更多相关文章

  1. Python爬虫解析网页的4种方式 值得收藏

    用Python写爬虫工具在现在是一种司空见惯的事情,每个人都希望能够写一段程序去互联网上扒一点资料下来,用于数据分析或者干点别的事情. ​ 我们知道,爬虫的原理无非是把目标网址的内容下载下来存储到内存 ...

  2. python bs4解析网页时 bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to inst（转）

    Python小白,学习时候用到bs4解析网站,报错 bs4.FeatureNotFound: Couldn't find a tree builder with the features you re ...

  3. 使用Python中的urlparse、urllib抓取和解析网页（一）（转）

    对搜索引擎.文件索引.文档转换.数据检索.站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理.事实上,通过Python 语言提供的各种模块,我们无需借助Web服务器或者Web浏览 ...

  4. python网络爬虫之解析网页的BeautifulSoup(爬取电影图片)[三]

    目录 前言 一.BeautifulSoup的基本语法 二.爬取网页图片 扩展学习 后记 前言 本章同样是解析一个网页的结构信息 在上章内容中(python网络爬虫之解析网页的正则表达式(爬取4k动漫图 ...

  5. Python中的urlparse、urllib抓取和解析网页（一）

    对搜索引擎.文件索引.文档转换.数据检索.站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理.事实上,通过Python 语言提供的各种模块,我们无需借助Web服务器或者Web浏览 ...

  6. python网络爬虫之解析网页的XPath(爬取Path职位信息)[三]

    目录 前言 XPath的使用方法 XPath爬取数据 后言 @(目录) 前言 本章同样是解析网页,不过使用的解析技术为XPath. 相对于之前的BeautifulSoup,我感觉还行,也是一个比较常用 ...

  7. python网络爬虫-解析网页（六）

    解析网页 主要使用到3种方法提取网页中的数据,分别是正则表达式.beautifulsoup和lxml. 使用正则表达式解析网页 正则表达式是对字符串操作的逻辑公式 .代替任意字符 . *匹配前0个或多 ...

  8. Python爬虫之解析网页

    常用的类库为lxml, BeautifulSoup, re(正则) 以获取豆瓣电影正在热映的电影名为例,url='https://movie.douban.com/cinema/nowplaying/ ...

  9. [技术博客] BeautifulSoup4分析网页

    [技术博客] BeautifulSoup4分析网页 使用BeautifulSoup4进行网页文本分析 前言 进行网络爬虫时我们需要从网页源代码中提取自己所需要的信息,分析整理后存入数据库中. 在pyt ...

随机推荐

  1. 微软3389远程漏洞CVE-2019-0708批量检测工具

    0x001 Win下检测 https://github.com/robertdavidgraham/rdpscan C:\Users\K8team\Desktop\rdpscan-master\vs1 ...

  2. Haproxy+keepalived高可用集群实战

    1.1  Haproxy+keepalived高可用集群实战 随着互联网火热的发展,开源负载均衡器的大量的应用,企业主流软件负载均衡如LVS.Haproxy.Nginx等,各方面性能不亚于硬件负载均衡 ...

  3. 克隆指定的分支：git clone -b 分支名仓库地址

    克隆指定的分支:git clone -b 分支名仓库地址 git clone -b 分支名 仓库地址 -b 是在克隆的时候制定一个分支

  4. 虚拟机中Linux环境下使用Squid部署代理缓存服务（及透明传输）

    小知识: 正确的使用Squid服务程序部署代理缓存服务可以有效提升访问静态资源的效率,降低原服务器的负载. 不仅如此,还为读者们添加了对指定IP地址.网页关键词.网址与文件后缀的ACL访问限制功能的实 ...

  5. 学习笔记：oracle学习三：SQL语言基础之sql语言简介、用户模式

    目录 1.sql语言简介 1.1 sql语言特点 1.2 sql语言分类 1.3 sql语言的编写规则 2.用户模式 2.1 模式与模式对象 2.2 实例模式scott 本系列是作为学习笔记,用于记录 ...

  6. 1、Tensorflow 之 saver与checkpoint

    1.Tensorflow 模型文件 checkpoint model.ckpt-200.data-00000-of-00001 model.ckpt-200.index model.ckpt-200. ...

  7. Asp.Net Core中创建多DbContext并迁移到数据库

    在我们的项目中我们有时候需要在我们的项目中创建DbContext,而且这些DbContext之间有明显的界限,比如系统中两个DbContext一个是和整个数据库的权限相关的内容而另外一个DbConte ...

  8. ~json库的使用

    一.json简介 json全称"JavaScript Object Notation"(JavaScript对象表示法)它是一种基于文本,独立于语言的轻量级数据交换格式.易于让人阅 ...

  9. 爬虫探索Chromedriver+Selenium初试

    今天分享Python使用Chromedriver+Selenium爬虫的的方法,Chromedriver是一个有意思的爬虫插件,这个插件的爬虫方式主要是完全模拟浏览器点击页面,一步一步去找你要的东西, ...

  10. 【HC89S003F4开发板】 6crc校验

    HC89S003F4开发板crc校验 前言 第一次用有带crc的mcu 使用资料自带的demo @实现效果 通过PC向MCU发送5个8位数据,MCU返回CRC校验值 void main() { /** ...