Python_爬虫养殖专业户_00

为什么学习爬虫?

当你在夜深人静,睡不着觉,想看一些更加睡不着觉的图片/视频时...

这是一句疑似玩笑话, 现实情况是, 每一天, 整个社会都积累了大量的数据,

在数据化的社会中,没有大批量的收集和探知数据的能力,几乎不大可能生存;

爬虫有什么价值?

在PC互联网时代, 数据积累的还不够,很多行业还没有数据化,

因此人们用浏览器, 以及高超的搜索引擎技能, 就可以解决生活和工作的需求,

但是, 在今天, 每一日世界的数据都以PB量级进行增长,

单纯用肉眼来观测用浏览器来搜索, 太低级了.

今天必须使用爬虫, 来大批量, 大规模的采集数据, 才能够跟上时代节奏.

一些爬虫领域的知识点:

robots.txt协议：

- 君子协议。规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。

http协议:

- 概念：就是服务器和客户端进行数据交互的一种形式。

常用请求头信息:

- User-Agent：请求载体的身份标识

- Connection：请求完毕后，是断开连接还是保持连接

常用响应头信息:

- Content-Type：服务器响应回客户端的数据类型

https协议：

- 安全的超文本传输协议

加密方式:

- 对称秘钥加密

- 非对称秘钥加密

- 证书秘钥加密