爬虫环境搭建及 scrapy 启动
创建虚拟环境
C:\Users\Toling>mkvirtualenv article
这个是普通的创建虚拟环境,但是实际开发中可能会使用python2或python3所以我们需要指定开发的环境
Microsoft Windows [版本 10.0.17134.885]
(c) Microsoft Corporation。保留所有权利。 C:\Users\Toling>mkvirtualenv --python3=C:\Users\Toling\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Python 3.7\python.exe article 格式:mkvirtualenv --python=py路径\python.exe 环境名称
安装scrapy架构
常规安装: pip install scrapy
更换豆瓣源:pip install -i https://pypi.douban.com/simple/ scrapy
注意掉坑,如果出现报错:
以下是我个人在安装scrapy时遇见的问题及我的解决方法
(1)运行命令
pip install Scrapy
在执行到“Collecting Twisted>=13.1.0 (from Scrapy)”时报错:Exception:Traceback (most recent call last).....
原因:我当前的版本是pip 9.0.1,需要升级到9.0.3
运行命令:
python -m pip install --upgrade pip
(2)升级后再次执行
pip install Scrapy
报错:Command "python setup.py egg_info" failed with error code 1 in C:\Users\LUOXIA~1\AppData\Local\Temp\pip-build-5hi6welx\Twisted\Complete output from command python setup.py egg_info:
原因:setup.py的版本问题
运行命令:
pip install setuptools==33.1.1
(3)再次执行
pip install Scrapy
报错“Command ""c:\program files\python36\python.exe" -u -c "import setuptools, tokenize;__file__='C:\\Users\\LUOXIA~1\\AppData\\Local\\Temp\\pip-build-rdyp2fl9\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\LUOXIA~1\AppData\Local\Temp\pip-pge7_20d-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\LUOXIA~1\AppData\Local\Temp\pip-build-rdyp2fl9\Twisted\”
解决方法:下载安装twisted对应版本的whl文件,比如:我的是Twisted-17.9.0-cp36-cp36m-win_amd64.whl,cp后面是python版本,amd64代表64位
下载网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
运行命令:
pip install F:\python\mytool\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
其中install 后面为下载的whl文件的完整路径名 技巧:可以打开文件所在目录然后点击导航栏,复制地址。然后重命名文件就可以复制文件名(记得打开拓展名)。
(4)安装完成后,再次运行:
pip install Scrapy
报错:Collecting pyasn1 (from service-identity->Scrapy)
Could not find a version that satisfies the requirement pyasn1 (from service-identity->Scrapy) (from versions: )
No matching distribution found for pyasn1 (from service-identity->Scrapy)
原因:缺少pyasn1
运行命令:
pip install pyasn1
pycharm中导入scrapy
操作过程:
爬虫环境搭建及 scrapy 启动的更多相关文章
- selenium+python爬虫环境搭建
前言: 准备使用selenium爬取网站数据,先搭建selenium+python爬虫环境搭建 系统环境: 64位win10系统,同时装python2.7和python3.6两个版本,IDE为pych ...
- Android 环境搭建资料及启动过程中问题汇总
一.环境搭建资料 推荐谷歌自己开发的Android Studio 工具可以从这个网址下载:http://tools.android-studio.org/,直接下载推荐的就行 二.安装 安装时最好指定 ...
- UVE开发环境搭建及项目启动
1.IDE安装visual studio code ,略: 2.node安装(node-v10.5.0-win-x64.zip),解压即可: 3.配置node环境变量,cmd 输入node -v.np ...
- 学习elasticsearch(一)linux环境搭建(2)——启动elasticsearch
在启动访问es的过程中遇到了各种的奇葩问题. 1.网上各种版本的启动方式让人眼花缭乱不知如何启动.简单粗暴——到es的bin目录下直接 执行 ./elasticsearch //显示启动,ctrl+c ...
- RPI学习--环境搭建_默认启动桌面/终端修改
参见:http://elinux.org/RPi_raspi-config 首次运行Raspbian会自动进入设置,往后也可以重新进入设置: $ sudo raspi-config 选项3 Enabl ...
- python3爬虫环境搭建
安装python3 sudo apt-get install python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev ...
- Ningx集群环境搭建
Ningx集群环境搭建 Nginx是什么? Nginx ("engine x") 是⼀个⾼性能的 HTTP 和 反向代理 服务器,也是⼀个 IMAP/ POP3/SMTP 代理服务 ...
- Centos7搭建Scrapy爬虫环境
写在前面 因为之前的爬虫环境一直是部署在我自己本地的电脑上的,最近,写了一个监控别人空间的爬虫,需要一直线上24小时运行,所有就打算云服务器上部署环境,也捣鼓了好一会才弄好,还是有一些坑,这里先记录一 ...
- linux下scrapy环境搭建
最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘 OS:ubuntu 14.04 python:2.7.6 scrapy:1.0.5 D ...
随机推荐
- 22 | 从0到1:API测试怎么做?常用API测试工具简介
- 17 | 精益求精:聊聊提高GUI测试稳定性的关键技术
- XTOJ 1267:Highway(树的直径)***
http://202.197.224.59/OnlineJudge2/index.php/Problem/read/id/1267 题意:给出一棵树,每条树边有权值,现在要修建n-1条边,边的权值为边 ...
- django基础知识之Ajax:
使用Ajax 使用视图通过上下文向模板中传递数据,需要先加载完成模板的静态页面,再执行模型代码,生成最张的html,返回给浏览器,这个过程将页面与数据集成到了一起,扩展性差 改进方案:通过ajax的方 ...
- Bzoj 1997 [Hnoi2010]Planar题解
1997: [Hnoi2010]Planar Time Limit: 10 Sec Memory Limit: 64 MBSubmit: 2224 Solved: 824[Submit][Stat ...
- EnjoyingSoft之Mule ESB开发教程第三篇:Mule message structure - Mule message结构
目录 1. 探索Mule Message结构 2. Mule Message的Payload 3. Mule Message的Property 4. Mule Message的Attachment 5 ...
- java算法题每日一练01,java入门简单算法题小练
1.给数组做反序 public class Ak01 { public static void main(String[] args) { int[] a = new int[]{22,48,41,2 ...
- Neo4j电影关系图Cypher
, tagline:'Welcome to the Real World'}) }) }) }) }) }) }) }) CREATE (Keanu)-[:ACTED_IN {roles:['Neo' ...
- python函数知识二 动态参数、函数的注释、名称空间、函数的嵌套、global,nonlocal
6.函数的动态参数 *args,**kwargs:能接受动态的位置参数和动态的关键字参数 *args -- tuple *kwargs -- dict 动态参数优先级:位置参数 > 动态位置参数 ...
- Java零基础个人学习路线总结
之前学习Java的时候走过一些弯路,一直想写一篇文章来总结下自己对自学Java的认识.趁着这次开通专栏的机会整理一篇文章,既可以巩固所学,也可以为后来境遇相同的人做个参考. 首先提出几个问题 Java ...