如何编写一个可以 下载（或叫：爬取）一个网页 的网络爬虫

使用的系统：Windows 10 64位

Python 语言版本：Python 2.7.10 V

使用的编程 Python 的集成开发环境：PyCharm 2016 04

我使用的 urllib 的版本：urllib2

注意： 我没这里使用的是 Python2 ，而不是Python3

一 . 简介

编写网络爬虫的第一步就是下载网页，这个过程叫做： 爬取 。

二 . 准备工作

要想爬取网站，首先要将网站下载下来。我们使用 Python 内置的：urllib2 模块 来下载网站的 URL。

注意： 无须下载任何第三方库哦。

参考网站：http://stackoverflow.com/questions/34475051/need-to-install-urllib2-for-python-3-5-1

三 . 最简单的下载网页的网络爬虫程序

新建一个文件：download_html.py。将下面的代码输入进去：

import urllib2

def download(url):

    return urllib2.urlopen(url).read()

执行：

> C:\Python27\python.exe -i download_html.py

>>> html = download('http://www.aobosir.com')

>>> print html

<!DOCTYPE html>

<html>

  <head>

  </head>

  <body>

  </body>

  <script>

    window.location.href="http://blog.csdn.net/github_35160620"

  </script>

</html>

>>>

这样的程序，不是每一次都很顺利的运行的。我们可能会在执行上面这个程序的时候，遇到一些无法控制的问题，这根据你爬取的网站的不同而定。

* 比如，有的网站使用的编码方式与你这个程序下载网站是读取网站的编码方式不同，就会导致乱码问题；

* 再比如说：如果你爬取的目标网站具有反爬虫机制，那么当你爬取它的时候，你会遇到503 Service Unavailable 问题；

* 再比如说：如果你爬虫的网站根本不存在，那么你会得到 404 Not Found 问题。

四 . 加入异常处理程序

所以，我们为了能让程序捕获到这些异常情况，需要加上异常处理的程序。最终程序会变成下面这个样子：

import urllib2

def download(url):

    print 'Downloading: ', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error', e.reason

        html = None

    return html

运行：

D:\WorkSpace\python_ws\web-scraping-with-python-learning\ch1>C:\Python27\python.exe -i 1-4-1-download_html.py

>>> html = download('http://www.aobosir.com/')

Downloading:  http://www.aobosir.com/

>>> html = download('http://httpstat.us/500')

Downloading:  http://httpstat.us/500

Download error Internal Server Error

>>> html = download('http://www.meetup.com/')

Downloading:  http://www.meetup.com/

Download error Forbidden

>>>

现在，如果程序在下载目标网站时，遇到异常就能捕获到这个异常了，然后返回 None 。现在还没有处理这个异常。只是能过捕获到它。

当然，下载网页是，遇到的错误经常都是临时性的，比如对于我们上面说的 503 问题，我们只需要尝试重新下载就可以解决这个问题。当然了，我们不需要对所有问题都尝试去重新下载，比如 404 问题，目标网页根本不存在，所以，你没有必要再去尝试。

扩展：

互联网工程任务小组（英语：Internet Engineering Task Force，缩写为 IETF）定义了HTTP错误的完整列表，详细内容到这个网站查看：https://zh.wikipedia.org/wiki/HTTP%E7%8A%B6%E6%80%81%E7%A0%81

从这个列表中，我们可以了解到：4XX 问题是客户端出现的问题；5XX 问题是服务器出现了问题；而其他的，比如：1XX 是消息；2XX 是成功；3XX 是重定向。

五 . 只有出现 5xx 错误码的时候，才执行重新下载程序

所以，我们需要让 download() 这个函数在遇到 5XX 错误的时候重新下载即可。

所以，我们再次完善我们的 download() 函数：

import urllib2

def download(url, num_retries=2):

    print 'Downloading: ', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 <= e.code < 600:

                # recursively retry 5xx HTTP errors

                return download(url, num_retries-1)

        return html

现在，在 download() 函数遇到 5xx 错误码的时候，就会自动递归 download() 函数本身进行重试。 download() 函数增加的第2个参数就是迎来指定递归的次数的，默认尝试2次。

测试这段程序，使用这个网站来测试：http://httpstat.us/500 ，这个网站会始终返回 500 错误码：

>>> html = download('http://httpstat.us/500')

Downloading:  http://httpstat.us/500

Download error Internal Server Error

Downloading:  http://httpstat.us/500

Download error Internal Server Error

Downloading:  http://httpstat.us/500

Download error Internal Server Error

>>> html = download('http://www.meetup.com/')

Downloading:  http://www.meetup.com/

Download error Forbidden

>>>

六 . 设置 用户代理（user_agent）

为了让我们的网络爬虫更加健壮，在网络中下载网页更加畅通无阻，我们需要：设置 用户代理（user_agent）

Q： 什么是 用户代理（user_agent）？

A： 你访问目标网站，就是访问目标服务器。那么让你访问服务器的时候，服务器会读取你是使用什么来访问它的。比如：如果你使用是是Chrome 浏览器访问它的，那么目标服务器就知道：你是使用浏览器访问它的。服务器就是通过用户代理这个参数来得到你是通过什么访问它的。

用户代理 指的是：简单的说就是一个参数，并且这个参数我们是可以修改的。在默认情况下，我们使用urllib2写的爬虫，它默认将 Python-urllib/2.7 这个字符串做为爬虫程序的用户代理。

Q： 为什么要设置 用户代理（user_agent）？

A： 如果我们使用这个默认的 Python-urllib/2.7 这个字符串做为我们的爬虫程序的用户代理，我们的爬虫会碰到很多的问题的。有些网站为了不希望网络爬虫将它们的服务器搞过载 或者 搞垮，会设有反爬虫机制。反爬虫机制就是：将一些用户代理 封禁，禁止一些 用户代理 访问他们的服务器。

比如这个例子：在我们使用urllib2 默认的用户代理 （ Python-urllib/2.7 ） 来 http://www.meetup.com/ 网站，你会看到下面的访问拒绝提示：

>>> html = download('http://blog.csdn.net/github_35160620/article/details/52487618')

Downloading:  http://blog.csdn.net/github_35160620/article/details/52487618

Download error Forbidden

>>> html = download('http://www.meetup.com/')

Downloading:  http://www.meetup.com/

Download error Forbidden

>>>

所以，如果我们能过将网络爬虫 的 用户代理 设置为 浏览器的用户代理，该多好啊。这样我们的网络爬虫就可以让服务器误以为：是一个浏览器在访问它。

下面这个图，就是 Chrome 浏览器的 用户代理 （user_agent）。

这是完全可以实现的，下面我们将来介绍，如何设定。

现在修改 download() 函数，将用户代理 设定为：wswp 这个字符串。（即 Web Scraping with Python 的首字母缩写。）

import urllib2

def download(url, user_agent='wswp', num_retries=2):

    print 'Downloading: ', url

    headers = {'User-agent' : user_agent}

    request = urllib2.Request(url, headers=headers)

    try:

        html = urllib2.urlopen(request).read()

    except urllib2.URLError as e:

        print 'Download error', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 <= e.code < 600:

                # recursively retry 5xx HTTP errors

                return download(url, user_agent, num_retries-1)

        return html

运行：

>>> html = download('http://www.meetup.com/')

Downloading:  http://www.meetup.com/

通过运行结果，你也看到了：通过设置了自定义的用户代理（user_agent）后，一些反爬虫的网站有可以下载了。现在，这个 download() 就是一个灵活的下载程序，该函数能够捕获异常，并且可以自动尝试重新下载，并且我们设置了自定义的用户代理（user_agent）。

搞定

下一节，我们来解决乱码问题

如果我们下载一个带有中文的网站，或者日文的网站，终止就是不全是英文的网站。我们将这个网站下载下来后，将它输出，会有乱码。

举例：

>>> html = download('http://blog.csdn.net/github_35160620/article/details/52487618')

Downloading:  http://blog.csdn.net/github_35160620/article/details/52487618

>>> print html

...

...

...

        </div>

       <!-- 骞垮憡浣嶅紑濮?-->

        <ins data-revive-zoneid="72" data-revive-id="8c38e720de1c90a6f6ff52f3f89c4d57"></ins>

    <!-- 骞垮憡浣嶇粨鏉?-->                                                                                    

   <link rel="stylesheet" href="http://static.blog.csdn.net/css/blog_code.css" />

            <script type="text/javascript" src="http://static.blog.csdn.net/scripts/saveToCode.js"></script>

...

...

...

下一节，就来解决这个问题。

总结：

这一节，我们已经 网络爬虫程序的下载网页的部分搞定了。下一节，我们来解决乱码问题。

Python 网络爬虫 005 (编程) 如何编写一个可以 下载（或叫：爬取）一个网页 的网络爬虫的更多相关文章

  1. Python 网络爬虫 004 (编程) 如何编写一个网络爬虫，来下载（或叫：爬取）一个站点里的所有网页

    爬取目标站点里所有的网页 使用的系统:Windows 10 64位 Python语言版本:Python 3.5.0 V 使用的编程Python的集成开发环境:PyCharm 2016 04 一 . 首 ...

  2. 【python爬虫】对喜马拉雅上一个专辑的音频进行爬取并保存到本地

    >>>内容基本框架: 1.爬虫目的 2.爬取过程 3.代码实现 4.爬取结果  >>>实验环境: python3.6版本,pycharm,电脑可上网. [一 爬虫目 ...

  3. Python爬虫入门教程 13-100 斗图啦表情包多线程爬取

    斗图啦表情包多线程爬取-写在前面 今天在CSDN博客,发现好多人写爬虫都在爬取一个叫做斗图啦的网站,里面很多表情包,然后瞅了瞅,各种实现方式都有,今天我给你实现一个多线程版本的.关键技术点 aioht ...

  4. 爬虫入门之Scrapy框架基础框架结构及腾讯爬取(十)

    Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据. 如果安装了 IPyth ...

  5. Python：将爬取的网页数据写入Excel文件中

    Python:将爬取的网页数据写入Excel文件中 通过网络爬虫爬取信息后,我们一般是将内容存入txt文件或者数据库中,也可以写入Excel文件中,这里介绍关于使用Excel文件保存爬取到的网页数据的 ...

  6. 爬虫系列4：scrapy技术进阶之多页面爬取

    多页面爬取有两种形式. 1)从某一个或者多个主页中获取多个子页面的url列表,parse()函数依次爬取列表中的各个子页面. 2)从递归爬取,这个相对简单.在scrapy中只要定义好初始页面以及爬虫规 ...

  7. 使用htmlparse爬虫技术爬取电影网页的全部下载链接

    昨天,我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲,而且还包括付费的在内,如果时间允许的话,可以获取更多的音乐下来,当然,也有小伙伴留言说这样会降低国人的知识产权保护意识,诚 ...

  8. 使用htmlparser爬虫技术爬取电影网页的全部下载链接

    昨天,我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲,而且还包括付费的在内,如果时间允许的话,可以获取更多的音乐下来,当然,也有小伙伴留言说这样会降低国人的知识产权保护意识,诚 ...

  9. Python 爬取单个网页所需要加载的地址和CSS、JS文件地址

    Python 爬取单个网页所需要加载的URL地址和CSS.JS文件地址 通过学习Python爬虫,知道根据正式表达式匹配查找到所需要的内容(标题.图片.文章等等).而我从测试的角度去使用Python爬 ...

随机推荐

  1. java_报表_00_资源帖

    一.精选资料 二.java api 1.jfreechart (1).Java-jfree报表(学习整理)----饼状图.柱状图.折线统计图 (2).Jfreechart打造专业图表-原来Jfreec ...

  2. Shell编程-运算符

    1.declare命令 declare声明变量类型:declare [+/-][选项] 变量名 -:给变量设定类型属性 +:取消变量的类型属性 -a:将变量声明为数组型 -i:整数型 -x:环境变量 ...

  3. 【机器学习】集成学习之xgboost的sklearn版XGBClassifier使用教程

    XGBClassifier是xgboost的sklearn版本.代码完整的展示了使用xgboost建立模型的过程,并比较xgboost和randomForest的性能. # -*- coding: u ...

  4. 在Arcmap中加载互联网地图资源的4种方法（转载）

    前一段时间想在Arcmap中打开互联网地图中的地图数据,如影像数据.基础地图数据等,经过简单研究目前总结了四种方法,整理下与大家分享,有些内容可能理解有误,希望大家多多指教.4种方法如下: a)    ...

  5. .net core结合Consul集群&Docker实现服务治理

    实战中的asp.net core结合Consul集群&Docker实现服务治理 https://www.cnblogs.com/guolianyu/p/9614050.html 0.目录 整体 ...

  6. 1625 codevs数字金字塔

    1625 数字金字塔 USACO  时间限制: 1 s  空间限制: 128000 KB  题目等级 : 黄金 Gold 题解   题目描述 Description 考虑在下面被显示的数字金字塔. 写 ...

  7. django模型models.py文件内容理解

    首先,要理解这句话:模型是你的数据的唯一的.权威的信息源.它包含你所存储数据的必要字段和行为.通常,每个模型对应数据库中唯一的一张表 基础:每个模型都是django.db.models.Model的一 ...

  8. C++对C语言的拓展（2）—— inline内联函数

    C语言中有宏函数的概念.宏函数的特点是内嵌到调用代码中去,避免了函数调用 的开销.但是由于宏函数的处理发生在预处理阶段,缺失了语法检测和有可能带来的语意差错. 1.内联函数基本概念 C++提供了 in ...

  9. git统计当前分支提交次数

    切换到您要统计的分支,然后Git Bash here,执行如下代码即可 : git log --author="您的用户名" --since='开始日期' --oneline | ...

  10. WPF中DataGrid控件的过滤（Filter）性能分析及优化

    DataGrid控件是一个列表控件, 可以进行过滤,排序等.本文主要针对DataGrid的过滤功能进行分析, 并提供优化方案. 1)DataGrid的过滤过程:      用户输入过滤条件       ...