python爬虫实战（七）--------伯乐在线文章（模版）

相关代码已经修改调试成功----2017-4-21

一、说明

1.目标网址：伯乐在线

2.实现：如图字段的爬取

3.数据：存放在百度网盘，有需要的可以拿取 链接：http://pan.baidu.com/s/1nvdnzpZ 密码：2j9l

二、运行

运行我就不多说了，直接运行main.py，相关的参数变一下就好了。有点基础的应该都会。

三、学习笔记

本项目爬取伯乐在线的全部文章，主要是记录几个常用的模版可以反复使用

1. loader机制和item处理
2. 异步存入数据库模版
3. 爬取图片存放目录记录
4. main.py的模版
5. md5加密函数
6. scrapy框架中自动下载图片

四、问题----欢迎留言提出问题

1.暂时没有很大的问题解决不了，后期如果遇到再贴出来

五、调试中遇到的问题记录

1.TypeError：'Failure' object is not subscriptable

如图：

解决方法： 添加一个try，except，因为有些图片加载不出来

2.pymysql.err.InterfaceError: (0, '')

那是因为scrapy异步的存储的原因，太快。

解决方法：只要放慢爬取速度就能解决，setting.py中设置 DOWNLOAD_DELAY = 2

---

想要看代码请移步我的github：https://github.com/pujinxiao/jobbole_spider

如果本项目对你有用请给我一颗star，万分感谢。

作者：今孝

出处：http://www.cnblogs.com/jinxiao-pu/p/6744374.html

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。