python网络爬虫，知识储备，简单爬虫的必知必会，【核心】

知识储备，简单爬虫的必知必会，【核心】

一、实验说明

1. 环境登录

无需密码自动登录，系统用户名shiyanlou

2. 环境介绍

本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到桌面上的程序：

1. xfce终端：Linux命令行终端，打开后会进入 shell 环境，可以使用Linux命令
2. Firefox：浏览器，可以用在需要前端界面的课程里，只需要打开环境里写的HTML/JS页面即可
3. GVim：非常好用的编辑器，最简单的用法可以参考课程Vim编辑器

3. 环境使用

使用GVim编辑器输入实验所需的代码及文件，使用 xfce终端运行所需命令进行操作。

实验报告可以在个人主页中查看，其中含有每次实验的截图及笔记，以及每次实验的有效学习时间（指的是在实验桌面内操作的时间，如果没有操作，系统会记录为发呆时间）。这些都是您学习的真实性证明。

实验楼虚拟机，自带了python2.X和python3.X版本，本课程基于 python2

二、课程介绍

• 一门编程语言的学习，实践中学习的效果肯定是最好的，我当初学python就是冲着爬虫来的，所以这次的课程目的是学会“炮制”简单的爬虫

• 本次课程，主要是介绍根据给定的url，下载网页中指定的模特图片，python版本为2.7（3.0也可以运行，print需要修改下），使用的模块有os、urllib2、re，单线程爬虫

• 这节课程基本没有代码全是原理，但是原理很重要，我会细讲，所以本节课程的文字内容，请细看。后面的课程是建立在这节课程之上来完成的，而且课程之间是上下级调用关系，层次结构很明显。

• 介绍下图片来源--妹子图，这个网站的整个爬取是最终目的，这节主要是对单个页面内的图片，进行爬取，例如这个 谁是这长发女孩心中的白马王子，供上第一张图片

三、课题探索

• 第一步：

1. 套图页面：这里呢，主要是搜索页面中的模特图片路径，但是图片都是img标签，不设计个简单匹配套路，还真难得到100%的精确度，先提供一个网页，大家试着找找，软妹

2. 标签所有单页：获取该网页中的所有套图页的链接（进入套图页），也就是给定一个标签页，获得这个页面中显示的所有套图页的链接，如某一标签页example[15]（实际情况比这还多），则这个页面中包含了15个套图

3. 标签所有页面：一个标签不止一个页面，获取该标签的所有页，如tag1[35][10]（实际情况比这还多），标签tag1又35个页面，每个页面又包含了10个套图页面，就像一个二维数组。

4. 顶级域名页面：这里，包含了所有的标签以及它们的链接，不过呢，有重复，这里很简单的做一个去重就可以了，如meizi[8]（实际情况比这还多），说明这个网站包含8个标签，每个标签里面又有它自己所包含的链接。 图的信息量还是蛮大的，如图--

5. 最后提下图片保存路径问题，这个呢在中层和高层中需要，底层还是不需要的，底层测试时，传入文件夹路径并保存该文件夹下，但在中层中，路径问题还是挺严重的，因为我们最终是启动高层，传入一个最初的文件夹路径，然后高层创建中层文件夹，并且在调用中层函数时，将标签链接和对应的文件夹路径传过去，中层调用底层也是一样的，都需要传过去文件夹路径。不过文件夹路径传过去，最后是由底层来创建，高层和中层是不创建的，路径是虚的，由底层创建并保存图片文件：

• meizi是由我们调用顶层时，传进去文件夹，这个文件夹是真实存在的
• baobei nvshen mengmeizi 是顶层拟定的，在调用中层时，和相应的标签链接一起传给中层

• 12 3324 346 89 这几个文件夹是由中层拟定，在调用底层时，和组图套图链接地址一起传给底层，底层从链接地址的html中得到了图片地址，从中层得到文件夹路径来创建文件夹，下载图片并保存到该文件夹中 全部过程就是这样，并且os模板里面，有一次性创建多层(>=1)文件夹的函数，这一点是能实现的，我这么实现，是防止空文件夹的存在，当有图片时，才一起创建。如果想了解函数，你可以进入python命令行，用help()函数查看函数介绍--

  图示，文件夹是手工建的，利用tree命令行打印并截图

• 第二步：

  源码路径，这个都是靠人脑分析，找好后，顺序暂定，介绍下re模块和一个简单的匹配法则

  .*?：匹配任意字符，非贪婪模式，如re123re0re456re，则(re.*?re)匹配re123re和re456re
  .*：匹配任意字符，贪婪模式，如re123re0re456re，则(re.*re)匹配re123re0re456re
  ()：返回括号内的匹配到的字符，如(re.*re)
  这里呢，只需要熟悉和使用这个规则就可以了，其余的不做介绍
  

  正则表达式可以在实验楼正则表达式课程深入学习

• 第三步：

  图片下载保存，这里涉及os的一些函数

  os.path.exists(文件路径)，检测该文件路径是否存在
  os.mknod(文件)，创建该文件，上一级目录必须存在
  os.mkdirs(文件)，创建文件，上一级目录如果不存在则一同创建
  进入python操作界面，help(os)，会显示所有函数名及介绍，这里只做了简单介绍
  

  有这些就够了，os模块，基本也就是在图片下载时需要

• 第四步：

  网络问题很重要，爬虫速度是爬虫里面核心，那网络就是核心的核心

1. 这个问题的错误在这里是不应该这么早出现的，但是警告会一开始就出现，如果等它报错停止运行的问题出现的时候再解除，这实在并不是一个好决策
2. 这个问题的优化，可以直接将爬虫进化，或者说是‘腿的个数’翻了个倍。简单描述下这个问题：在前期，一个图片的大小也就200k~500k的样子，也就2秒左右速度很快，但是网络延迟能达到10秒甚至更高，所以你的带宽利用率也就是10%不到，这是前期警告。
3. 在网络不稳定或网络拥堵的情况下，一旦urllib2这个模块链接超时未响应，程序会等待然后就是错误并终端程序的运行，这就是异常报错，所以在这个项目的第一节课，就应该解决这个大隐患的小Bug.

• 第五步：既然网络问题提出来了，那就补上相应的解决方法：

  python基础中，有异常检测try...except，使用urllib2.open()，补抓urllib2.URLError异常，单独置于一个函数中，当不成功时返回空字符串，通知调用函数继续调用该函数

  def loadurl(url):
  try:
      conn = urllib2.urlopen(url, timeout=5)
      html = conn.read()
      return html
  except urllib2.URLError:
      errorReport.errorLoadUrl(url)
      return ''
  except Exception:
      print("unkown exception in conn.read()")
      return ''
  

  同样的，保存图片到本地，也需要进行超时检测，以防报错

• 第六步：补充说明，在这个后期，我也添上了“改进爬虫优化网路速率提高爬虫速度的多线程模式”，会以一节课程的形式单独补充，不作为本课的核心课程，作为拓展课程。

四、本项目层次结构介绍

五、组图下载

这节需要介绍的基础知识，大概就是这些，下节的主要内容是图片下载和url链接问题