【爬虫】让我沉醉的python爬虫技术

今天终于有机会好好学习我一直梦寐以求想掌握的爬虫技术，其实爬虫技术涉及的面不多，我力求做到精通写在简历上。

1.工程分析流程

（1）需求分析

①目标网站；②抓取内容；③存储格式。

（2）项目实施

分析想要抓取的页面标签特点。

（3）写代码

2.想做到抓取网站，首先要下载目标网页【爬取】，一共有三种方法：

（1）爬取网站地图；（2）遍历每个网页的数据库ID；（3）跟踪网页链接。

3.scraping需要注意的问题

（1）代理问题；（2）下载速度限制【访问间隔】；（3）无限链接的爬虫陷阱。

4.抓取数据的三种方法

（1）正则表达式；

正则表达式虽然提供了抓取数据的快捷方式，但是方法过于脆弱。

（2）beautifulsoup4

（3）Lxml

性能对比

5.下载缓存问题

对于小网站来说，缓存与否并不重要，但是对于大网站来说，重新爬取往往需要花费几周的时间。