第一:确认自己的Python版本3.6.x(因该版本与pyspider较为适应,其他版本易出错)

  如果不是3.6版本的,且想将版本替换成3.6版本的有以下处理方法:

  1.再装一个3.6版本python,在pycharm中另外设置一个解释器路径只想python3.6

  2.删除python:

    1)通过控制面板删除,或者原python安装包中uninstall方法进行删除

    2)然后找到原来python安装路径,将路径上的python文件夹删除(路径可以在第一步前通过环境变量找到)

第二:安装phantomjs,并配置环境变量

  phantomjs下载地址:https://phantomjs.org/download.html

  下载并解压后,将路径手动添加至环境变量

第三:创建pyspider 的虚拟环境

  养成习惯,一般而言,一个项目是一个虚拟环境,目的是防止外部安装包之间产生冲突导致代码出错

  具体步骤,面向百度,地址:https://jingyan.baidu.com/article/91f5db1b07b5b01c7f05e33b.html

  简单总结:

    1)创建一个文件夹供虚拟环境使用

    2)通过控制台进入该文件夹下,使用pip install virtualenv 安装虚拟环境创建需要的模块包

    3)通过命令创建虚拟环境 virtualenv pyspider(创建一个名为pyspider的虚拟环境,命令格式:virtualenv 环境名)

      但此时可能会复制原本存在的第三方安装包进入虚拟环境,为防止第三方安装包与pyspider所需第三方包产生冲突,对上述命令行进行再次修改

      virtualenv --no-site-packages pyspider 

      即:通过添加 --no-site-packages 命令行来阻碍复制第三方包

  虚拟环境命令:(venv:虚拟环境名)

    1)创建虚拟环境

     virtualenv venv

    2)为环境指定Python解释器:

     virtualenv -p c:\python27\python.exe venv

    3)激活虚拟环境

     activate venv

    4)停止虚拟环境

     deactivate

    5)删除虚拟环境

     rmvirtualenv venv 

    6)查看当前已创建的虚拟环境

     workon

    7)切换虚拟环境

     workon venv

    

第四:进入到第三步创建的环境中装pypsider模块包

  1.下载 pyspider(使用国内镜像源)

  pip install pyspider -i https://pypi.tuna.tsinghua.edu.cn/simple 

  2.运行 pyspider 运行报如下错误:

  Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.

  解决方案:

  删除wsgidav 然后重新安装2.4.1版本

  使用 pip install wsgidav==2.4.1 直接指定wsgidav的版本,进行覆盖安装

  3.再次运行 pyspider

  报错 cannot import name 'DispatcherMiddleware'

  解决方案:

  卸载 pip uninstall werkzeug

  安装指定版本 pip install werkzeug==0.16.0

  4.再次运行 pyspider 运行成功

  成功后在终端显示如下:

  

  在网页端显示如下:

  

只此,pyspider入门阶段的环境基本配置完毕。

pyspider的环境安装的更多相关文章

  1. python3爬虫_环境安装

    一.环境安装 1.python3安装 官网:https://www.python.org/downloads/ 64 位系统可以下载 Windows x86-64 executable install ...

  2. 使用专业的消息队列产品rabbitmq之centos7环境安装

      我们在项目开发的时候都不可避免的会有异步化的问题,比较好的解决方案就是使用消息队列,可供选择的队列产品也有很多,比如轻量级的redis, 当然还有重量级的专业产品rabbitmq,rabbitmq ...

  3. Linux下xampp集成环境安装配置方法 、部署bugfree及部署禅道

    XAMPP(Apache+MySQL+PHP+PERL)是一个功能强大的建站集成软件包.XAMPP 是一个易于安装且包含 MySQL.PHP 和 Perl 的 Apache 发行版.XAMPP 的确非 ...

  4. node.js环境安装,及连接mongodb测试

    1.node.js环境安装 npm config set python python2.7npm config set msvs_version 2013npm config set registry ...

  5. 谈谈React Native环境安装中我遇到的坑

    谈谈React Native环境安装 这个坑把我困了好久,真的是接近崩溃的边缘...整理出来分享给大家,希望遇到跟我一样问题的小伙伴能尽快找到答案. 首先,这是在初始化App之后,react-nati ...

  6. Kali Linux渗透测试实战 1.2 环境安装及初始化

    1.2 环境安装及初始化 目录(?)[-] 环境安装及初始化 下载映像 安装虚拟机 安装Kali Linux 安装中文输入法 安装VirtualBox增强工具 配置共享目录和剪贴板 运行 Metasp ...

  7. Linux初学 - Elasticsearch环境安装

    下载 https://www.elastic.co/downloads/elasticsearch 安装 rpm -ivh 也可以双击rpm包安装 修改elastaticsearch host配置 修 ...

  8. Win7下Python2.7环境安装paramiko模块

    Win7下Python2.7环境安装paramiko模块,经过安装并测试成功,整理文档如下: 1.下载安装Windows版本的Python2.7,我默认装在C:\Python27 我的python已经 ...

  9. [ALM]一步一步搭建MS ALM环境 - 安装TFS + SQL SERVER

    描述: 安装SQL SERVER 2012,安装TFS 2013,配置TFS,挽起袖子,准备干活儿 步骤: 1,打开Hyper-V Manager,参考[Hyper-V]使用操作系统模板创建新的虚拟机 ...

随机推荐

  1. 牛客网-n的约数【dfs】

    题目描述:戳这里 解题思路:这题思路好想,n最多也就是20个不同的素数相乘,把所有可能的素数找到,然后枚举素数个数就行了. n = p1^q1 + p2^q2 + p3 ^q3 + ... + pi ...

  2. vue中子组件更新父组件

    当在子组件里更改了某些信息且关闭子组件后,需要父组件更新修改后的内容,该如何操作 1.$emit触发 父组件 @add="add(val)" 子组件 this.$emit('add ...

  3. 操作系统 part3

    1.操作系统四特性 并发:一个时间段,多个进程在宏观上同时运行 共享:系统中的资源可以被多个并发进程共同使用(互斥共享,同时共享) 虚拟:利用多道程序设计,利用时分复用(分时系统)和空分复用(虚拟内存 ...

  4. 翻译:《实用的Python编程》01_05_Lists

    目录 | 上一节 (1.4 字符串) | 下一节 (1.6 文件) 1.5 列表 本节介绍 Python 原始数据类型列表(list). 列表是一种有序的集合. 创建列表 使用方括号 [] 来定义列表 ...

  5. 手把手教你使用 js 实现一个 Canvas 编辑器

    手把手教你使用 js 实现一个 Canvas 编辑器 拖拽 缩放,等比缩放 导出 image 模版 撤销,重做 OOP,封装,继承,多态 发布库 CI/CD (gitlab/github) ... h ...

  6. 如何用 js 实现一个 call 函数

    如何用 js 实现一个 call 函数 原理 实现方式 总结 refs https://developer.mozilla.org/en-US/docs/Web/JavaScript/Referenc ...

  7. nodejs stream 创建读写流

    const fs = require("fs"); const { Writable, Readable, Duplex, Transform } = require(" ...

  8. react 异步的setState

    import React from "react"; class App extends React.Component { state = { a: 0 }; component ...

  9. NGK是公链吗?NGK为何会这么火?

    NGK号称区块链3.0的经典代表之作,公链底层技术开源发布,支撑百万级应用场景,集合了其他公链的优点,不仅拥有超高的TPS,军业级DPOSS共识机制,还有极高的网络确认速度和转账速度.更重要的是无需矿 ...

  10. 使用 Tye 辅助开发 k8s 应用竟如此简单(三)

    续上篇,这篇我们来进一步探索 Tye 更多的使用方法.本篇我们来了解一下如何在 Tye 中如何对数据库进行链接. Newbe.Claptrap 是一个用于轻松应对并发问题的分布式开发框架.如果您是首次 ...