Python BeautifulSoup 使用

BS4库简单使用:

1.最好配合LXML库，下载：pip install lxml

2.最好配合Requests库，下载：pip install requests

3.下载bs4：pip install bs4

4.直接输入pip没用？解决：环境变量->系统变量->Path->新建：C:\Python27\Scripts

案例：获取网站标题

# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup

import requests

url = "https://www.baidu.com"

response = requests.get(url)

soup = BeautifulSoup(response.content, 'lxml')

print soup.title.text

标签识别

示例1：

# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup

html = '''

<html>

<head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

</body>

</html>

'''

soup = BeautifulSoup(html, 'lxml')

# BeautifulSoup中有内置的方法来实现格式化输出

print(soup.prettify())

# title标签内容

print(soup.title.string)

# title标签的父节点名

print(soup.title.parent.name)

# 标签名为p的内容

print(soup.p)

# 标签名为p的class内容

print(soup.p["class"])

# 标签名为a的内容

print(soup.a)

# 查找所有的字符a

print(soup.find_all('a'))

# 查找id='link3'的内容

print(soup.find(id='link3'))

示例2：

# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup

html = '''

<html>

<head><title>The Dormouse's story</title></head>

<body>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

</body>

</html>

'''

soup = BeautifulSoup(html, 'lxml')

# 将p标签下的所有子标签存入到了一个列表中

print (soup.p.contents)

find_all示例:

# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup

html = '''

<h4>Hello</h4>

</div>

</ul>

</ul>

</div>

'''

soup = BeautifulSoup(html, 'lxml')

# 查找所有的ul标签内容

print(soup.find_all('ul'))

# 针对结果再次find_all,从而获取所有的li标签信息

for ul in soup.find_all('ul'):

print(ul.find_all('li'))

# 查找id为list-1的内容

print(soup.find_all(attrs={'id': 'list-1'}))

# 查找class为element的内容

print(soup.find_all(attrs={'class': 'element'}))

# 查找所有的text='Foo'的文本

print(soup.find_all(text='Foo'))

CSS选择器示例：

# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup

html = '''

<h4>Hello</h4>

</div>

</ul>

</ul>

</div>

'''

soup = BeautifulSoup(html, 'lxml')

# 获取class名为panel下panel-heading的内容

print(soup.select('.panel .panel-heading'))

# 获取class名为ul和li的内容

print(soup.select('ul li'))

# 获取class名为element，id为list-2的内容

print(soup.select('#list-2 .element'))

# 使用get_text()获取文本内容

for li in soup.select('li'):

print(li.get_text())

# 获取属性的时候可以通过[属性名]或者attrs[属性名]

for ul in soup.select('ul'):

print(ul['id'])

# print(ul.attrs['id'])

Python BeautifulSoup 使用的更多相关文章

【转】Python BeautifulSoup 中文乱码解决方法
这篇文章主要介绍了Python BeautifulSoup中文乱码问题的2种解决方法,需要的朋友可以参考下解决方法一: 使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输 ...
Python -- BeautifulSoup的学习使用
BeautifulSoup4.3 的使用下载和安装 # 下载 http://www.crummy.com/software/BeautifulSoup/bs4/download/ # 解压后使用r ...
Python beautifulsoup模块
BeautifulSoup中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ BeautifulSoup下载:http://w ...
Python - BeautifulSoup 安装
BeautifulSoup 3.x 1. 下载 BeautifulSoup. [huey@huey-K42JE python]$ wget http://www.crummy.com/software ...
Python BeautifulSoup中文乱码问题的2种解决方法
解决方法一: 使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家首先是代码 from bs4 import Beautif ...
python BeautifulSoup库的基本使用
Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree). 它提供简单又常用的导航(navigating),搜索以 ...
python BeautifulSoup的简单使用
官网:https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 参考:https://www.cnblogs.com/yupeng/p/336203 ...
python BeautifulSoup 介绍--安装
Python中,专门用于HTML/XML解析的库: 特点是: 即使是有bug,有问题的html代码,也可以解析. BeautifulSoup主要有两个版本 BeautifulSoup 3 之前的,比较 ...
python BeautifulSoup库用法总结
1. Beautiful Soup 简介简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: Beautiful Soup提供一些简单的.pyt ...
python beautifulsoup/xpath/re详解
自己在看python处理数据的方法,发现一篇介绍比较详细的文章转自:http://blog.csdn.net/lingojames/article/details/72835972 20170531 ...

随机推荐

python_appium_模拟器启动app进行登录
#coding=utf-8from appium import webdriverimport timedesired_caps = {} #列表desired_caps['platformName' ...
用同一台PC的两个网口实现Iperf的server端和client端
用同一台PC的两个网口实现Iperf的server端和client端 2015年10月20日 20:35:11 阅读数:2943 有时候需要发包,仅仅需要一定速率的流量,并不需要关心收到报文的大小,一 ...
vue项目部署到服务器
1.配置config目录下index.js index: path.resolve(__dirname, '../dist/index.html'), assetsRoot: path.resolve ...
五、Pyqt5事件、信号和槽
PyQt中提供了两种针对事件处理的机制:一种是事件,另一种则是信号和槽. 一.事件事件处理在PyQt中是比较底层的,常用的事件有键盘事件.鼠标事件.拖放事件.滚轮事件.定时事件.焦点事件.进入和离开 ...
VSCode 绿色版(zip压缩包) 添加右键菜单使用VSCode 打开文件或文件夹
微软官方下载VSCode 可以下载exe安装外还可以下载zip 压缩包下载地址: https://code.visualstudio.com/Download 但是zip压缩包却没有了右键使用VS ...
201771010142 张燕& 杨蓉庆实验十一集合
实验十一集合实验时间 2018-11-8 一理论知识一般将数据结构分为两大类:线性数据结构和非线性数据结构.线性数据结构:线性表.栈.队列.串.数组和文件.非线性数据结构:树和图. 线性 ...
# 2019-2020-4 《Java 程序设计》第六周总结
2019-2020-4 <Java 程序设计>第六周知识总结第七章:内部类与异常类 1.内部类 (1)类可以有两种重要的成员:成员变量和方法,类还可以有一种成员:内部类. (2)java ...
npm -S -D -g i 有什么区别
npm i module_name -S = > npm install module_name --save 写入到 dependencies 对象 //开发环境能使用,生产环境也能使用or ...
Js高级程序设计～读书笔记
1.函数-函数声明和函数表达式解析器在向执行环境加载数据时,函数声明和函数表达式的对待不同. 解析器会率先执行函数声明,将会在任何使用到它的地方前加载, 而对于函数表达式,只会在执行到的时候去加载: ...
MyEclipse has detected that less than 5% of
选择Windows->Preferences; 2 选择MyEclipse->Servers->Integrated Sandbox->MyEclispe Tomcat 6 ...

Python BeautifulSoup 使用

Python BeautifulSoup 使用的更多相关文章

随机推荐

热门专题