Scrapy框架的安装
Win+R 输入cmd打开命令行
我们先把pip升级到最新版,输入代码如下:
pip install --upgrade pip
不过一般这种更新方式会经常性出错,安装文件在下载到一半时就会超时报错
可以试试输入下面的代码一般不会出现什么问题了
python -m pip install -U --force-reinstall pip
升级完毕后我们就可以着手于安装scrapy框架了
为了防止接下来出现的超时问题,我们不要使用官方的方式安装框架,采用国内源进行scrapy的安装
pip3 install -i https://pypi.doubanio.com/simple/ scrapy
一般会直接安装成功,如果报错,会在ERROR信息里提示你缺少什么库,那么就输入上面的代码,将scrapy换成你需要安装的库的名称即可
注:scrapy安装前同时要求计算机里安装Visual Stdio 2015,或者高于2015版本的环境,不然会在所有库安装完后继续报错,如果报错了,那么在安装完Visual Stdio后重新在命令行输入安装Scrapy的指令即可。
然后新建一个Scrapy项目文件。选择我们要新建项目的目录,修改当前路径输入cmd.exe

然后直接在cmd里面进入这个文件夹的路径,然后我们输入新建项目的代码:
scrapy startproject myspider
就会直接在当前目录新建好myspider项目文件夹,然后我们通过Pycharm打开此项目,搭建scrapy环境
打开文件->设置->项目:myspider->Python解释器,会看见很多已经安装好的库了

注意:巨坑在这里!请查看一下自己的Python解释器的路径是否是你python的安装路径,即笔者这里安装的python3.8的路径。笔者一开始尝试安装scrapy的时候怎么装都不成功,后来才发现这里的Python解释器竟然默认选择了User路径下的Python.exe文件。如果你的解释器箭头下拉没有安装路径的选项,点击上图的全部显示,添加安装目录下的pythonw.exe文件。

然后点击右边的+号在搜索栏里面搜索scrapy进行安装,就可以成功搭建好环境了

Scrapy框架的安装的更多相关文章
- python爬虫中scrapy框架是否安装成功及简单创建
判断框架是否安装成功,在新建的爬虫文件夹下打开盘符中框输入cmd,在命令中输入scrapy,若显示如下图所示,则说明成功安装爬虫框架: 查看当前版本:在刚刚打开的命令框内输入scrapy versio ...
- 怎么安装Scrapy框架以及安装时出现的一系列错误(win7 64位 python3 pycharm)
因为要学习爬虫,就打算安装Scrapy框架,以下是我安装该模块的步骤,适合于刚入门的小白: 一.打开pycharm,依次点击File---->setting---->Project---- ...
- python爬虫随笔-scrapy框架(1)——scrapy框架的安装和结构介绍
scrapy框架简介 Scrapy,Python开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试 ...
- 关于Scrapy框架的安装
Scrapy介绍与环境安装 Scrapy介绍与环境安装 What is scrapy? An open source and collaborative framework for extractin ...
- Python3.6下scrapy框架的安装
首先考虑使用最简单的方法安装 pip install scrapy 命令安装,提示 Failed building wheel for Twisted Microsoft Visual C++ 14. ...
- python第三方库scrapy框架的安装
1.确认python和pip安装成功 2.安装win32py 提供win32api,下载地址:https://sourceforge.net/projects/pywin32/fil ...
- Windows和Linux下scrapy框架的安装
windows下安装: 1.安装Anaconda环境管理工具 也可以使用pip安装,值得注意的是如果你使用的是pip安装,你需要解决相应的包依赖(解决依赖一般会让你怀疑人生.怀疑scrapy,建议还是 ...
- windows上Scrapy 框架的安装
采用在命令行直接安装的方式:pip install scrapy报错: 到这个网站下载 Twisted:https://www.lfd.uci.edu/~gohlke/pythonlibs/进入网 ...
- 【Python爬虫实战】Scrapy框架的安装 搬运工亲测有效
windows下亲测有效 http://blog.csdn.net/liuweiyuxiang/article/details/68929999这个我们只是正确操作步骤详解的搬运工
随机推荐
- Chrome V8 系统架构
Chrome V8 系统架构 Chromium 多进程多线程架构 design-documents https://www.chromium.org/developers/design-documen ...
- WEB 用视频替换GIF动画
原文 download ffmpeg gif to video 转化后文件大小大大降低 $ ffmpeg -i my-animation.gif -b:v 0 -crf 25 -f mp4 -vcod ...
- Java基本概念:继承
一.简介 描述: 现实世界中的继承无处不在.比如:动物细分有哺乳动物.爬行动物等,哺乳动物细分有灵长目.鲸目等. 继承的本质是对某一批类的抽象,从而实现对现实世界更好的建模. 继承是类和类之间的一种关 ...
- 第46天学习打卡(四大函数式接口 Stream流式计算 ForkJoin 异步回调 JMM Volatile)
小结与扩展 池的最大的大小如何去设置! 了解:IO密集型,CPU密集型:(调优) //1.CPU密集型 几核就是几个线程 可以保持效率最高 //2.IO密集型判断你的程序中十分耗IO的线程,只要大于 ...
- Django-1.11中文文档-模型Models(一)
官方文档链接 模型是数据信息的唯一并明确的来源.它包含了我们储存的数据的基本字段和行为.通常,每个模型映射到一张数据库表. 基本概念: 每个模型都是django.db.models.Model的一个子 ...
- 异常控制流(csapp)
[前言]程序按照一定顺序执行称为控制转移.最简单的是平滑流,跳转.调用和返回等指令会造成平滑流的突变.系统也需要能够对系统状态的变化做出反应,这些系统状态不能被内部程序变量捕获但是,操作系统通过使控制 ...
- MySql-Day-01
MySql 能够理解数据库的概念 能够安装MySQL数据库 能够启动,关闭及登录MySQL 能够使用SQL语句操作数据库 能够使用SQL语句操作表结构 能够使用SQL语句进行数据的添加修改和删除的操作 ...
- springmvc字符 中文乱码问题
springmvc字符 中文乱码问题 1.字符过滤器 输入中文测试,发现乱码 以前乱码问题通过过滤器解决 , 而SpringMVC给我们提供了一个过滤器 , 可以在web.xml中配置,修改了xml文 ...
- 死磕Spring之IoC篇 - Spring 应用上下文 ApplicationContext
该系列文章是本人在学习 Spring 的过程中总结下来的,里面涉及到相关源码,可能对读者不太友好,请结合我的源码注释 Spring 源码分析 GitHub 地址 进行阅读 Spring 版本:5.1. ...
- drf给上传图片重命名
1.先在你项目中添加一个文件夹如:system 在文件夹下添加__init__.py 和storage.py文件,并在storage.py中添加如下代码: #复制代码 -- coding: UTF-8 ...