孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块

孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块

（完整学习过程屏幕记录视频地址在文末）

从今天起开始正式学习Python的爬虫。

今天已经初步了解了两个主要的模块：

requests

BeautifulSoup

一、主要模块的安装

（一）requests

pip install requests

（如果失败，多试几次即可）

(二)BeautifulSoup

pip install BeautifulSoup4

BeautifulSoup4已经指明了模块的版本号

二、搜索相关资料进行初步学习了解

发现以下几个网络资料不错：（感谢这些网文作者的无私分享）

第一个，作者比较全面的分享了，不过发现讲得太大概了一点，理解起来比较难。

http://www.cnblogs.com/kmonkeywyl/p/8409715.html

https://www.cnblogs.com/kmonkeywyl/p/8458442.html

http://www.cnblogs.com/kmonkeywyl/p/8435533.html

第二个，Beautiful Soup 4.2.0的文档

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

https://blog.csdn.net/u010646415/article/details/79421790

三、上手我的第一个测试

是参照以下网文进行的：（谢谢原作者的奉献）

https://blog.csdn.net/qq_42787271/article/details/81571229

果然先是见识了，不指定【header】头说明的情况下，遭遇403代码返回的问题，然后，加上了【header】头说明，就成功了。

测试代码如下：

```

import requests

from bs4 import BeautifulSoup

import _mty

def msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isShowErrMsg=False):

return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

def myfirst(s,h):

r=requests.get(s,headers=h)

#print(r.text) #r.text得到的是页面源html代码

formattxt=BeautifulSoup(r.text,features="html.parser") #第二个参数指明了解析器

#print(formattxt)

data=formattxt.find_all('a')

for i in data:

msgbox(i.get('href'))

strurl='http://www.dianping.com/'

header={

'Host':'www.dianping.com',

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'

}

myfirst(strurl,header)

```

(详细测试过程见我的屏幕录制)

不过：

formattxt=BeautifulSoup(r.text,features="html.parser")

这一行语句得到的

formattxt

中的文本格式也并不是如资料上所说的那样，是非常工整漂亮 的html编排好的格式。

得到的formattxt这个对象——

有很多方法和属性，今天只是初略的阅读了一下这些资料，还没有完全理解，将在接下来的时间中慢慢学习掌握。

今天就学习到这儿，感觉爬虫还不是想象中的那么难。

——————————

今天整理的学习笔记完成，最后例行说明下我的自学思路：

根据过去多年我自学各种编程语言的经历，认为只有真正体验式，解决实际问题式的学习才会有真正的效果，即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言，没有学习同伴，也没有高师在上，甚至电脑都是孤岛（乡村那时还没有网络），有的只是一本旧书，在痛苦的自学摸索中，我找到适应自己零基础的学习方法：首先是每读书的一小节就作相应的手写笔记，第二步就是上机测试每一个笔记内容是否实现，其中会发现书中讲的其实有出入或错误，第三步就是在上机测试之后，将笔记改为电子版，形成最终的修订好的正确无误的学习笔记 。

通过反复尝试错误，在那个没有分享与交流的黑暗时期我摸黑学会了VB6，尔后接触了其它语言，也曾听过付费视频课程，结果发现也许自己学历果然太低，就算是零基础的入门课程，其实也难以跟上进度，讲师的教学多数出现对初学者的实际情况并不了解的情况，况且学习者的个体也存在差异呢？当然更可怕的是收费课程的价格往往是自己难以承受的。

于是我的所有编程学习都改为了自学，继续自己的三步学习笔记法的学习之路。

当然自学的最大问题是会走那么多的弯路，没有导师直接输入式的教学来得直接，好在网络给我们带来无限搜索的机会，大家在网络上的学习日志带给我们共享交流的机会，而QQ群等交流平台、网络社区的成立，我们可以一起自学，互相批评交流，也可以获得更有效，更自主的自学成果。

于是我以人生已过半的年龄，决定继续我的编程自学之路，开始学习python，只希望与大家共同交流，一个人的独行是可怕的，只有一群人的共同前进才是有希望的。

诚挚期待您的交流分享批评指点！欢迎联系我加入从零开始的自学联盟。

这个时代互联网成为了一种基础设施的存在，于是本来在孤独学习之路上的我们变得不再孤独，因为网络就是一个新的客厅，我们时刻都可以进行沙龙活动。

非常乐意能与大家一起交流自己自学心得和发现，更希望大家能够对我学习过程中的错误给予指点——是的，这样我就能有许多免费的高师了——这也是分享时代，社区时代带来的好福利，我相信大家会的，是吧！

根据完全共享的精神，开源互助的理念，我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制，但因为4K高清文件太大均超过5G以上，所以无法上传至网络，如有需要可联系我QQ578652607对传，乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

我的学习过程录像百度盘地址分享如下：（清晰度：1280x720）

链接：https://pan.baidu.com/s/1rlc02oDGXZRYkM_Bi1orpg

提取码：qzgv

Bilibili:

https://www.bilibili.com/video/av40360342/

喜马拉雅语音笔记：

https://www.ximalaya.com/keji/19103006/152346394