孤荷凌寒自学python第六十八天学习并实践beautifulsoup模块1
孤荷凌寒自学python第六十八天学习并实践beautifulsoup模块1
（完整学习过程屏幕记录视频地址在文末）
感觉用requests获取到网页的html源代码后，更重要的工作其实是分析得到的内容，因此这时候大名鼎鼎的BeautifulSoup模块就可以大展身手了。
一、今天已了解到的BeautifulSoup模块中的一些用法小结：
1.
BeautifulSoup对象.prettify() #对html源代码 进行了美化。
2.
BeautifulSoup.p
#这种方法将返回html文档中的第一个p标签本身这个对象，不是文本，但Print之后会显示为如：
<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>
3.
BeautifulSoup对象.a
#得到了Html文档中的第一个a标签本身这个对象(这是一个Html标签元素对象)
4.
Html标签元素对象['href'])
# 获取Html标签元素对象的 链接地址 这个属性
5.
Html标签元素对象.get('href')
# 获取Html标签元素对象的 链接地址 这个属性
6.
msgbox(a.string)
#----获取Html标签元素对象的内含文本内容（innertext)
7.
BeautifulSoup对象.Html标签元素对象.contents
#---获取一个Html标签元素对象下的所有子对象集
#返回的是列表，列表中的元素，包括了此Html标签元素对象下的直属一级子对象。
8.
BeautifulSoup对象.Html标签元素对象.children
#---获取一个Html标签元素对象下的所有子对象集
#返回的是一个迭代器对象,其中的内容与上一个属性获取的一致
二、今天主要找到的网文资料
https://blog.csdn.net/qq_42787271/article/details/81612428
感谢博主的分享！
然后我根据这个资料进行了自己的测试。
三、我的测试代码：
```
import requests
from bs4 import BeautifulSoup
import _mty
strHtml='''
<html><head><title>孤荷凌寒的测试网页qq：578652607</title>
<style>
.title{
font-size:20px;
}
.story{
font-size:12px;
}
#divfirst{
font-size:30px;
}
</style>
</head>
<body>
现在网页的BODY部分开始：
<div id="divfirst" class="story">
现在第一个p标签马上开始：
<p id="firstptag" class="title"><b>这是在第一个P标签中的TEXT</b></p>
<p class="story">现在分享一些网站链接：
</br>
<a href="http://www.baidu.com/" class="sister"
id="link1">1.百度链接</a>,
<a href="http://www.taobao.com/" class="sister"
id="link2">2.淘宝链接</a> and
<a href="3.http://www.jianshu.com/" class="sister"
id="link3">简书链接</a>;
</br>
所有链接分享完了</p>
现在第一个P标签已结束。
</div>
接下来第二个DIV开始
<div id="divsecond" class="title">
<p class="story">
<a href="http://www.lhghroom.cn/" id="a_ghlh"><span id="spanone">4.孤荷凌寒的小站</span></a>
</p>
</div>
现在body部分结束了
</body>
</html>
'''
def msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isShowErrMsg=False):
return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)
def myfirst(s,h):
#r=requests.get(s,headers=h)
#print(r.text) #r.text得到的是页面源html代码
bs=BeautifulSoup(strHtml,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象
#-----测试用法
#strnew=bs.prettify() #对html源代码 进行了美化。
#print(strnew)
#-------访问html文档中第一个指定tag标识的html标签元素的方法-----------
#print(bs.p) #这种方法将返回html文档中的第一个p标签本身这个对象，不是文本，但Print之后会显示为如：【<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>】
#print(bs.p) #重复执行，也只是返回html文档 中的第一个P标签
#msgbox(str(bs.a)) #bs.a 返回的是一个对象，而不是文本字符串
#a=bs.a #得到了Html文档中的第一个a标签本身这个对象
#-----获取Html标签元素对象的属性，及相关对象--------------
#---以字典的方式 存放着Html标签元素对象的属性----
#msgbox(a['href']) #a的Html标签元素对象的 链接地址 这个属性
#msgbox(a.get('href'))
#----标签的内嵌内容（innertext)存放在Html标签元素对象的string属性中
#msgbox(a.string)
#---获取一个Html标签元素对象下的所有子对象集-------------------------------------------
#elements=bs.body.contents #返回的是列表，列表中的元素，包括了此Html标签元素对象下的直属一级子对象。
#print(elements)
elements=bs.body.children #返回的是一个迭代器对象,其中的内容与上一个属性获取 的一致
print(list(elements))
#-----------------------
strurl='http://www.dianping.com/'
header={
'Host':'www.dianping.com',
'User-Agent':'Mozilla/5.0
(Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/68.0.3440.106 Safari/537.36'
}
myfirst(strurl,header)
```
其中最后一步修改后的测试结果如下：
['\n现在网页的BODY部分开始：\n',
<div class="story" id="divfirst">
现在第一个p标签马上开始：
<p
class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>
<p class="story">现在分享一些网站链接：
<a
class="sister" href="http://www.baidu.com/"
id="link1">1.百度链接</a>,
<a
class="sister" href="http://www.taobao.com/"
id="link2">2.淘宝链接</a> and
<a
class="sister" href="3.http://www.jianshu.com/"
id="link3">简书链接</a>;
所有链接分享完了</p>
现在第一个P标签已结束。
</div>, '\n接下来第二个DIV开始\n',
<div class="title" id="divsecond">
<p
class="story">
<a
href="http://www.lhghroom.cn/" id="a_ghlh"><span
id="spanone">4.孤荷凌寒的小站</span></a>
</p>
</div>, '\n现在body部分结束了\n']
——————————
今天整理的学习笔记完成，最后例行说明下我的自学思路：
根据过去多年我自学各种编程语言的经历，认为只有真正体验式，解决实际问题式的学习才会有真正的效果，即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言，没有学习同伴，也没有高师在上，甚至电脑都是孤岛（乡村那时还没有网络），有的只是一本旧书，在痛苦的自学摸索中，我找到适应自己零基础的学习方法：首先是每读书的一小节就作相应的手写笔记，第二步就是上机测试每一个笔记内容是否实现，其中会发现书中讲的其实有出入或错误，第三步就是在上机测试之后，将笔记改为电子版，形成最终的修订好的正确无误的学习笔记
。
通过反复尝试错误，在那个没有分享与交流的黑暗时期我摸黑学会了VB6，尔后接触了其它语言，也曾听过付费视频课程，结果发现也许自己学历果然太低，就算是零基础的入门课程，其实也难以跟上进度，讲师的教学多数出现对初学者的实际情况并不了解的情况，况且学习者的个体也存在差异呢？当然更可怕的是收费课程的价格往往是自己难以承受的。
于是我的所有编程学习都改为了自学，继续自己的三步学习笔记法的学习之路。
当然自学的最大问题是会走那么多的弯路，没有导师直接输入式的教学来得直接，好在网络给我们带来无限搜索的机会，大家在网络上的学习日志带给我们共享交流的机会，而QQ群等交流平台、网络社区的成立，我们可以一起自学，互相批评交流，也可以获得更有效，更自主的自学成果。
于是我以人生已过半的年龄，决定继续我的编程自学之路，开始学习python，只希望与大家共同交流，一个人的独行是可怕的，只有一群人的共同前进才是有希望的。
诚挚期待您的交流分享批评指点！欢迎联系我加入从零开始的自学联盟。
这个时代互联网成为了一种基础设施的存在，于是本来在孤独学习之路上的我们变得不再孤独，因为网络就是一个新的客厅，我们时刻都可以进行沙龙活动。
非常乐意能与大家一起交流自己自学心得和发现，更希望大家能够对我学习过程中的错误给予指点——是的，这样我就能有许多免费的高师了——这也是分享时代，社区时代带来的好福利，我相信大家会的，是吧！
根据完全共享的精神，开源互助的理念，我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制，但因为4K高清文件太大均超过5G以上，所以无法上传至网络，如有需要可联系我QQ578652607对传，乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。
我的学习过程录像百度盘地址分享如下：（清晰度：1280x720）
链接：https://pan.baidu.com/s/1JesRSIGxxT33g6xgeUsTDQ
提取码：3mem
Bilibili
B站退回了今天视频的发布申请，原因如下：
【7:17-7:25】根据国家相关法律法规政策，加强对时政内容、新闻信息的管理，暂停个人上传时政内容、新闻信息，现将您的稿件予以打回，敬请谅解。
喜马拉雅语音笔记：
https://www.ximalaya.com/keji/19103006/152590964
孤荷凌寒自学python第六十八天学习并实践beautifulsoup模块1的更多相关文章
- 孤荷凌寒自学python第六十二天学习mongoDB的基本操作并进行简单封装1
孤荷凌寒自学python第六十二天学习mongoDB的基本操作并进行简单封装1 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第八天. 今天开始学习mongoDB的简单操作, ...
- 孤荷凌寒自学python第六十九天学习并实践beautifulsoup对象用法2
孤荷凌寒自学python第六十九天学习并实践beautifulsoup对象用法2 (完整学习过程屏幕记录视频地址在文末) 今天继续学习beautifulsoup对象的属性与方法等内容. 一.今天进一步 ...
- 孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块
孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块 (完整学习过程屏幕记录视频地址在文末) 从今天起开始正式学习Python的爬虫. 今天已经初步了解了两个主要的模块: ...
- 孤荷凌寒自学python第六十六天学习mongoDB的基本操作并进行简单封装5
孤荷凌寒自学python第六十六天学习mongoDB的基本操作并进行简单封装5并学习权限设置 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第十二天. 今天继续学习mongo ...
- 孤荷凌寒自学python第六十五天学习mongoDB的基本操作并进行简单封装4
孤荷凌寒自学python第六十五天学习mongoDB的基本操作并进行简单封装4 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第十一天. 今天继续学习mongoDB的简单操作 ...
- 孤荷凌寒自学python第六十四天学习mongoDB的基本操作并进行简单封装3
孤荷凌寒自学python第六十四天学习mongoDB的基本操作并进行简单封装3 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第十天. 今天继续学习mongoDB的简单操作, ...
- 孤荷凌寒自学python第六十三天学习mongoDB的基本操作并进行简单封装2
孤荷凌寒自学python第六十三天学习mongoDB的基本操作并进行简单封装2 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第九天. 今天继续学习mongoDB的简单操作, ...
- 孤荷凌寒自学python第六十一天在Fedora28版的linux系统上找搭建本地Mongodb数据服务
孤荷凌寒自学python第六十一天在Fedora28版的linux系统上找搭建本地Mongodb数据服务 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第七天.成功在本地搭建 ...
- 孤荷凌寒自学python第六十天在windows10上搭建本地Mongodb数据服务
孤荷凌寒自学python第六十天在windows10上找搭建本地Mongodb数据服务 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第六天.成功在本地搭建了windows ...
随机推荐
- 【luogu P3378 堆】 模板
题目链接:https://www.luogu.org/problemnew/show/P3378 是堆的模板...我懒,STL da fa is good #include <iostream& ...
- 为什么有IP还需要硬件地址，或者说为什么有硬件地址还需要IP
只用MAC 虽然每个设备都有唯一的硬件地址,但不都是MAC格式. 只用MAC的话理论上是可行的,但是其中 兼容不同的硬件地址,处理起来是非常困难的.而且数据链路层也没有必要处理网络层的逻辑. 只用IP ...
- [Oracle]分区索引
上一节学习了分区表,接着学习分区索引. (一)什么时候对索引进行分区 · 为了避免移动数据时重建整个索引,可对索引分区,在重建索引时,只需重建与数据分区相关的索引: · 在对分区表进行维护时,为了避免 ...
- Oracle块修改跟踪功能
块修改跟踪功能是指使用二进制文件记录数据库中数据库更改的过程. 其目的是提高增量备份操作的性能,因为RMAN可以使用快修改跟踪文件找到上次执行备份操作后被修改的数据块.这可以节省大量时间,因为如果不这 ...
- rest_framework -- 认证组件
#####认证组件##### 一.认证是什么就不说了,某些网页必须是用户登陆之后,才能访问的,所以这时候就需要用上认证组件. 你不用rest_framework的认证组件也行,这种认证的话,完全可以自 ...
- 第13届景驰-埃森哲杯广东工业大学ACM程序设计大赛--D-psd面试
链接:https://www.nowcoder.com/acm/contest/90/D 来源:牛客网 1.题目描述 掌握未来命运的女神 psd 师兄在拿了朝田诗乃的 buff 后决定去实习. 埃森哲 ...
- ABAP术语-Method
Method 原文:http://www.cnblogs.com/qiangsheng/archive/2008/03/05/1091077.html Component of classes in ...
- Mysqldump自定义导出n条记录
很多时候DBA需要导出部分记录至开发.测试环境,因数据量需求较小,如果原库的记录多,且表数量也多,在用mysqldump命令导出时可以添加一个where参数,自定义导出n条记录,而不必全量导出. 示例 ...
- WinForm webbrowser控件的使用
webbrowser是一个比较实用的工具,主要用于在winform窗体中嵌入浏览器,达到winform与webform互操作的目的. 先上一个demo,看一下能实现什么效果. private void ...
- python3 练习题100例 （二十六）回文数判断
题目内容: 给一个5位数,判断它是不是回文数,是则输出yes,不是则输出no. 例如12321是回文数,它的个位与万位相同,十位与千位相同. 输入格式: 共一行,为一个5位数. 输出格式: 共一行,y ...