学习scrapy爬虫框架的一些经验和教训

首先python的scrapy框架很好，功能强大，使用起来也很方便，省去了很多造轮子的时间。在学习的过程中也碰到了一些问题，在这里希望能分享与大家分享，做一个参考

1.安装（pip延时响应问题）

scrapy框架包含了很多包，理论上是通过pip install scrapy命令可直接安装。但实际上还是有很多的问题

问题1：

　　　　　　　　　　在cmd直接输入pip install scrapy，可是网速会显示很慢，最后出现红字报错

　　　　　　　　　　原因：这是网络连接的问题，pip命令会直接在python官网上下载包（官网的速度那就不敢恭维了）

　　　　　　　　　　解决方法：输入 pip install -i  https://pypi.tuna.tsinghua.edu.cn/simple [module name]

（ 这个网站是清华的资源网）

　　　　　　　　　　　　　　　注：如果网速更慢的小伙伴的话，可以在再加上时间元素

　　　　　　　　　　　　　　　　　形如：pip --default-timeout=10000 install  package（与上面的方法可以综合使用）

2.所需要的知识储备

　　python基础知识（if while for 继承 迭代器 异常处理 文件操作之类（现用现学也不迟））

　　xpath相关知识，知道如何再xml网页中定位element（https://www.bilibili.com/video/av48794288?from=search&seid=14753612886237754814）

　　css选择器相关知识（https://www.w3school.com.cn/css/index.asp）

　　　　　　　　　　　https://blog.csdn.net/lynnpaul/article/details/79884677

　　正则表达式（B站上全都有）

　　《数据通信与网络 第四版》第27章 万维网与超文本传输协议（了解web运行的基本原理）

　　掌握上面这些可以基本开始scrapy框架的学习了，后面的知识用到再说

　　*系统性的学习很重要，很重要，很重要。百度只能当作辅助，最好是去看书。好东西都在书里

3.教训

　　　　vscode一定要搭建好环境

　　　　　　推荐阅读：https://www.cnblogs.com/asce/p/11600904.html

　　　　　　　　　　（还有一篇文章找不到了，大意就是配置好 环境变量，怎么配置可以自己搜）

4.当scrapy shell出故障时，推荐使用jupyter notebook进行网页分析(刚接触python编程时也推荐使用)

　　补充：通过后续的学习，发现jupyter进行网页分析存在很大一部分局限性。

　　　　　实际上很多网站经典反爬虫机制之一就是会检查User-Agent。当我们直接通过爬虫程序发送请求时，会被网站服务器拒绝(such as经典爬虫练习网站：豆瓣)

　　　　　所以很多时候还是推荐直接使用scrapy框架（已经进行过User-Agent伪装或者模拟）直接分析，比如直接打印所需要的信息来检查xpath语法或者相关解析路径的正确

　　　　　　如何设置随机User-Agent可参考我的另一篇博文：https://www.cnblogs.com/RosemaryJie/p/12336662.html

　　　　　　　　

　　安装：通过pip命令安装，jupyter(模块名)（如何安装详细细节可百度）

　　通过cmd，输入jupyter notebook打开（在cmd中那个文件夹目录下输入命令，文件（file）便储存在哪个文件夹）

　　　　在jupyter中可通过创建selector对象分析网页(selector对象包含了xpath和css方法)

　　　　　　from scrapy.selector import Selector

　　　　　　from scrapy.http import HemlResponse

　　　　　　import requests

　　　　　　Response = requests . get("www.jer0.com")

　　　　　　response = HtmlResponse ( url="www.jer0.com" , body = Response . text , encoding = ' utf-8' )

　　　　　　selector = Selector(response = response)