自己的Scrapy框架学习之路

开始自己的Scrapy 框架学习之路。

一、Scrapy安装介绍

参考网上资料，先进行安装

使用pip来安装Scrapy

在开始菜单打开cmd命令行窗口执行如下命令即可

pip install Scrapy 

安装过程可能会因为环境等问题出现终止，此时可以查看命令行显示提示信息，根据提示分析原因，从而解决问题。‘

pip版本低的时候会提示无法安装

执行 python -m pip install --upgrade pip

执行完成后再执行

pip install Scrapy 

WIN10遇到的问题

如上图提示：error：信息，发现安装前需要有Visual C++，而且他们也提供了下载地址，可以复制粘贴到地址栏，进行下载，并安装。

如果地址栏输入链接跳转后提示404错误，可自己百度搜索 Microsoft Visual c++14.0 is required,进行下载安装；

再次安装，如下图即可成功

二、Scrapy入门教程

1、在cmd中创建Scrapy项目工程。

我的是在c:\Users\lucky\PycharmProjects\

在命令行，切换的自己的项目代码的工作空间下，执行如下命令

scrapy startproject ScrapyTest

有如下提示则表示创建成功

2、 对应项目文件中新生成如下文件

解析scrapy框架结构：

• scrapy.cfg: 项目的配置文件。
• tutorial/: 该项目的python模块。之后您将在此加入代码。
• tutorial/items.py: 项目中的item文件。
• tutorial/pipelines.py: 项目中的pipelines文件。
• tutorial/settings.py: 项目的设置文件。
• tutorial/spiders/: 放置spider代码的目录。

我的win10没有scrapy.cfg项目配置文件