第一:确认自己的Python版本3.6.x(因该版本与pyspider较为适应,其他版本易出错)

  如果不是3.6版本的,且想将版本替换成3.6版本的有以下处理方法:

  1.再装一个3.6版本python,在pycharm中另外设置一个解释器路径只想python3.6

  2.删除python:

    1)通过控制面板删除,或者原python安装包中uninstall方法进行删除

    2)然后找到原来python安装路径,将路径上的python文件夹删除(路径可以在第一步前通过环境变量找到)

第二:安装phantomjs,并配置环境变量

  phantomjs下载地址:https://phantomjs.org/download.html

  下载并解压后,将路径手动添加至环境变量

第三:创建pyspider 的虚拟环境

  养成习惯,一般而言,一个项目是一个虚拟环境,目的是防止外部安装包之间产生冲突导致代码出错

  具体步骤,面向百度,地址:https://jingyan.baidu.com/article/91f5db1b07b5b01c7f05e33b.html

  简单总结:

    1)创建一个文件夹供虚拟环境使用

    2)通过控制台进入该文件夹下,使用pip install virtualenv 安装虚拟环境创建需要的模块包

    3)通过命令创建虚拟环境 virtualenv pyspider(创建一个名为pyspider的虚拟环境,命令格式:virtualenv 环境名)

      但此时可能会复制原本存在的第三方安装包进入虚拟环境,为防止第三方安装包与pyspider所需第三方包产生冲突,对上述命令行进行再次修改

      virtualenv --no-site-packages pyspider 

      即:通过添加 --no-site-packages 命令行来阻碍复制第三方包

  虚拟环境命令:(venv:虚拟环境名)

    1)创建虚拟环境

     virtualenv venv

    2)为环境指定Python解释器:

     virtualenv -p c:\python27\python.exe venv

    3)激活虚拟环境

     activate venv

    4)停止虚拟环境

     deactivate

    5)删除虚拟环境

     rmvirtualenv venv 

    6)查看当前已创建的虚拟环境

     workon

    7)切换虚拟环境

     workon venv

    

第四:进入到第三步创建的环境中装pypsider模块包

  1.下载 pyspider(使用国内镜像源)

  pip install pyspider -i https://pypi.tuna.tsinghua.edu.cn/simple 

  2.运行 pyspider 运行报如下错误:

  Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.

  解决方案:

  删除wsgidav 然后重新安装2.4.1版本

  使用 pip install wsgidav==2.4.1 直接指定wsgidav的版本,进行覆盖安装

  3.再次运行 pyspider

  报错 cannot import name 'DispatcherMiddleware'

  解决方案:

  卸载 pip uninstall werkzeug

  安装指定版本 pip install werkzeug==0.16.0

  4.再次运行 pyspider 运行成功

  成功后在终端显示如下:

  

  在网页端显示如下:

  

只此,pyspider入门阶段的环境基本配置完毕。

pyspider的环境安装的更多相关文章

  1. python3爬虫_环境安装

    一.环境安装 1.python3安装 官网:https://www.python.org/downloads/ 64 位系统可以下载 Windows x86-64 executable install ...

  2. 使用专业的消息队列产品rabbitmq之centos7环境安装

      我们在项目开发的时候都不可避免的会有异步化的问题,比较好的解决方案就是使用消息队列,可供选择的队列产品也有很多,比如轻量级的redis, 当然还有重量级的专业产品rabbitmq,rabbitmq ...

  3. Linux下xampp集成环境安装配置方法 、部署bugfree及部署禅道

    XAMPP(Apache+MySQL+PHP+PERL)是一个功能强大的建站集成软件包.XAMPP 是一个易于安装且包含 MySQL.PHP 和 Perl 的 Apache 发行版.XAMPP 的确非 ...

  4. node.js环境安装,及连接mongodb测试

    1.node.js环境安装 npm config set python python2.7npm config set msvs_version 2013npm config set registry ...

  5. 谈谈React Native环境安装中我遇到的坑

    谈谈React Native环境安装 这个坑把我困了好久,真的是接近崩溃的边缘...整理出来分享给大家,希望遇到跟我一样问题的小伙伴能尽快找到答案. 首先,这是在初始化App之后,react-nati ...

  6. Kali Linux渗透测试实战 1.2 环境安装及初始化

    1.2 环境安装及初始化 目录(?)[-] 环境安装及初始化 下载映像 安装虚拟机 安装Kali Linux 安装中文输入法 安装VirtualBox增强工具 配置共享目录和剪贴板 运行 Metasp ...

  7. Linux初学 - Elasticsearch环境安装

    下载 https://www.elastic.co/downloads/elasticsearch 安装 rpm -ivh 也可以双击rpm包安装 修改elastaticsearch host配置 修 ...

  8. Win7下Python2.7环境安装paramiko模块

    Win7下Python2.7环境安装paramiko模块,经过安装并测试成功,整理文档如下: 1.下载安装Windows版本的Python2.7,我默认装在C:\Python27 我的python已经 ...

  9. [ALM]一步一步搭建MS ALM环境 - 安装TFS + SQL SERVER

    描述: 安装SQL SERVER 2012,安装TFS 2013,配置TFS,挽起袖子,准备干活儿 步骤: 1,打开Hyper-V Manager,参考[Hyper-V]使用操作系统模板创建新的虚拟机 ...

随机推荐

  1. five86-1 (OpenNetadmin RCE+cp命令提权+crunch生成密码字典)

    Vulnhub-Five86-1 实验环境 kali攻击机ip:192.168.56.116 Five86-1靶机ip:192.168.56.121 知识点及工具 nmap扫描 john爆破 Open ...

  2. PyCharm 中文 字符 python 报错 的 完美 解决方案!

    PyCharm 中文 字符 python 报错 的 完美 解决方案! #_*_ coding:utf-8_*_ https://www.python.org/dev/peps/pep-0263/ 到p ...

  3. React Hooks: useContext All In One

    React Hooks: useContext All In One useContext https://reactjs.org/docs/hooks-reference.html#useconte ...

  4. You Don't Know Chrome Features

    You Don't Know Chrome Features URL auto convert to QR Code click the tab URL address click QRCode ic ...

  5. funny 生成器

    funny 生成器 https://www.zhihu.com/question/380741546/answer/1190570384 举牌小人生成器 https://small-upup.upup ...

  6. nasm astrrchr函数 x86

    xxx.asm %define p1 ebp+8 %define p2 ebp+12 %define p3 ebp+16 section .text global dllmain export ast ...

  7. elasticsearch如何设计索引

    本文为博客园作者所写: 一寸HUI,个人博客地址:https://www.cnblogs.com/zsql/ 最近在做es相关的工作,所以记录下自己的一些想法,可能很多方面不会很全面,但是基本都是经过 ...

  8. Redis 对过期数据的处理

    Redis 对过期数据的处理 在 redis 中,对于已经过期的数据,Redis 采用两种策略来处理这些数据,分别是惰性删除和定期删除 惰性删除 惰性删除不会去主动删除数据,而是在访问数据的时候,再检 ...

  9. C++算法代码——[TYVJ]单数?双数?

    题目来自:http://218.5.5.242:9018/JudgeOnline/problem.php?id=1178 题目描述 Bessie那惨无人道的二年级老师搞了一个有  N  (1  < ...

  10. JDK源码阅读-Reference

    本文转载自JDK源码阅读-Reference 导语 Java最初只有普通的强引用,只有对象存在引用,则对象就不会被回收,即使内存不足,也是如此,JVM会爆出OOME,也不会去回收存在引用的对象. 如果 ...