Python 网络爬虫 004 (编程) 如何编写一个网络爬虫，来下载（或叫：爬取）一个站点里的所有网页

爬取目标站点里所有的网页

---

使用的系统：Windows 10 64位

Python语言版本：Python 3.5.0 V

使用的编程Python的集成开发环境：PyCharm 2016 04

---

---

一 . 首先你要知道如何编写一个可以下载一个网页的网络爬虫

请见博客：如何编写一个可以 下载一个网页 的网络爬虫。

---

二 . 教你三种方法，来爬取目标站点中所有的网页

方法一： 使用 目标站点的网络地图文件 来爬取里面的所有链接的网页。

方法二： 使用 网页的ID索引号 来爬取一个站点子目录下的所有网页。

方法三： 使用 正则表达式 来爬取一个网页里面包含的所有链接网页。