scrapy是爬虫的一个框架,目前支持python2,python3暂不支持

首先win安装环境:

1.如果你比较幸运,直接pip install scrapy就能成功

2.如果你像我一样,安装过程中报错,就只能手动一步一步安装所需的软件了

3.以下安装步骤网上找的,亲测可以成功,打开python文件,import scrapy看是无报错

4.然后我执行无报错以后,开始建立scrapy startproject 项目依旧报错,报错原因是

pyasn1-0.1.7-py2.7.egg版本太低,
解决方法,网上下载一个版本,easy_install 路径\\pyasn1-0.2.3-py2.7.egg(写好文件路径)不能直接pip intstall安装。 因为直接pip匹配的版本还是之前的低版本

“”“”

系统是 Win7,Python2.7.5版本。

1.安装Python​ 2.7.5:双击安装即可,在Windows命令行中输入 python提示版本号2.7.5,并进入Python 命令行,表明安装成功。注意,安装时选择pip工具安装,在Windows命令行输入pip --version,提示版本号,则安装成功。

2.安装pywin32​:,必须是32位版本的,下载对应版本的pywin32(py2.7),直接双击安装即可,安装完毕之后验证:在python命令行下输入import win32com,没有提示错误,则证明安装成功。

3.​安装pyOPENSSL:在https://sourceforge.net/projects/pyopenssl/下载,必须是32位版本的,下载对应版本的pyOpenSSL(py2.7),直接双击安装即可,安装完毕之后验证:在python命令行下输入import OpenSSL,没有提示错误,则证明安装成功。

4.安装 lxml​:在Windows命令行中进入C:\Python27\Scripts,输入pip install lxml安装,安装完毕之后验证:在python命令行下输入import lxml,没有提示错误,则证明安装成功。

5.安装Twisted:Twisted is an event-driven networking engine written in Python and licensed under the open source。

1) 安装setuptools​:

下载地址:http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe

安装完毕之后验证:在python命令行下输入import setuptools,没有提示错误,则证明安装成功​。

2) 安装Zope.Interface​:

下载地址:http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg

安装过程:Windows命令行输入D:\>cd C:\Python27\Scripts C:\Python27\Scripts>easy_install.exe zope.interface-4.0.1-py2.7-win32.egg

验证安装:在python命令行下输入​import zope.interface,没有提示错误,则证明安装成功​。

3) 安装Twisted​:

下载地址:http://pypi.python.org/packages/2.7/T/Twisted/Twisted-12.1.0.win32-py2.7.msi​

​直接安装。

6.安装Scrapy​:在Windows命令行中进入C:\Python27\Scripts,输入pip install Scrapy安装。输入scrapy显示版本号,安装成功。​

所以安装的包都在C:\Python27\Lib\site-packages文件夹中可以找到。

“”“”

ps:贴一下我的包版本和安装成功的scrapy版本

scrapy(1)win安装的更多相关文章

  1. Scrapy框架的安装

    Win+R 输入cmd打开命令行 我们先把pip升级到最新版,输入代码如下: pip install --upgrade pip 不过一般这种更新方式会经常性出错,安装文件在下载到一半时就会超时报错 ...

  2. Python之Scrapy爬虫框架安装及简单使用

    题记:早已听闻python爬虫框架的大名.近些天学习了下其中的Scrapy爬虫框架,将自己理解的跟大家分享.有表述不当之处,望大神们斧正. 一.初窥Scrapy Scrapy是一个为了爬取网站数据,提 ...

  3. scrapy之环境安装

    scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用. 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaco ...

  4. Python3.5在Windows7环境下Scrapy库的安装

    Python3.5在Windows7环境下Scrapy库的安装 忙活了一下午,总算是把Scrapy库给装完了,记下来给需要帮助的人 首先安装的环境:Windows7 64位 Python的版本是:3. ...

  5. scrapy初体验 - 安装遇到的坑及第一个范例

    scrapy,python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.scrapy用途广泛,可以用于数据挖掘.监测和自动化测试.scrapy的安装稍 ...

  6. Python 环境搭建(Win 安装以及Mac OS 安装)

    千里之行始于足下,今天我们先来学习 Python 环境搭建. 注意:本系列教程基于 Python 3.X Python 环境搭建 Win 安装 打开 Python 官网 https://www.pyt ...

  7. win安装python模块出现依赖问题的解决方法 & No module named 'MySqldb'

    前言 一年多了,还在写这种问题,羞愧. 新公司不让用自己的电脑,配的winPC,项目启不起来,之前也出现过这个问题,是py3缺少某个模块,但是自己没记,这次记一下好了. No module named ...

  8. Scrapy简单上手 —— 安装与流程

    一.安装scrapy 由于scrapy依赖较多,建议使用虚拟环境 windows下pip安装(不推荐) 1.安装virtualenv pip install virtualenv 2.在你开始项目的文 ...

  9. scrapy 和 scrapy_redis 安装

    安装sqlslte,scrapy需要这个模块 yum install sqlite-devel python3.5 下载包自己编译安装 ./configure make make install 自带 ...

随机推荐

  1. C#学习笔记(基础知识回顾)之值传递和引用传递

    一:要了解值传递和引用传递,先要知道这两种类型含义,可以参考上一篇 C#学习笔记(基础知识回顾)之值类型和引用类型 二:给方法传递参数分为值传递和引用传递. 2.1在变量通过引用传递给方法时,被调用的 ...

  2. 【PyQt5 学习记录】001:第一个界面

    PyQt5 的安装很简单: pip3 install PyQt5 然后就是写一个最简单的界面试试手: import sys from PyQt5.QtWidgets import QApplicati ...

  3. Android之NDK环境配置+JNI开发+so文件编译

    前言 这边Android作为日常记录,虽然破坏了文章队形~   最近人工智能挺火的,也稍微了解了一些库,比如关于视觉库openCV.要在安卓下调用这些C/C++库,需要用到JNI开发,在此把过程分享一 ...

  4. js 基于可视区域 创建展示区域对应的经纬度二维数组

    本篇文章主要是分享下基于地图区域创建经纬度二维数组,需要的朋友可以过来参考下 接上个文章, 基于 地图区域,算出这个展示区域对应的点. 经纬度的变化关系:  XY页面展示上, 从左到右维度是增加 如: ...

  5. arcgis10.2 serverstyle 制作工具位置 小计

    跟9.3时候的套路还是一样的,只是工具已经放到了arcgis desktop的安装目录的bin文件夹下面. engine和developerkit都不附带该工具. 但是engine会附带一组默认的转换 ...

  6. 微信小程序-02-项目文件之间配合和调用关系

    微信小程序-02-项目文件之间配合和调用关系 我就不说那么多了,我是从官方文档拷贝的,然后加上一些自己的笔记,不喜勿喷 官方文档:https://developers.weixin.qq.com/mi ...

  7. 微信小程序开发10-开发流程

    1.Flex布局 Flex是Flexible Box的缩写,意为”弹性布局”,用来为盒状模型提供最大的灵活性.任何一个容器都可以指定为Flex布局. 2.设置容器,用于统一管理容器内项目布局,也就是管 ...

  8. 懒散的态度就是一剂慢性毒药——《我是一只IT小小鸟》读后感(第四周)

    进度拖延是所有团队项目的噩梦,有效的进度管理也许能够解决问题,但我认为更根本的是整个团队的工作态度.大家都希望能够加入一个人人都认真负责积极完成任务的团队,但比如何找这样一个团队更重要的是如何将自己变 ...

  9. android端的ormlite框架

    安卓端有很多优秀的数据库框架来操作sqlite,如ormlite框架,这个框架可以用来实现表到对象的解析和转化. 使用: 首先去官网下载两个jar包,core和android(如果在安卓端开发的话), ...

  10. 【Oracle】锁表处理 SQL 错误: ORA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源, 或者超时失效

    问题描述有时候ORACLE数据的某些表由于频繁操作,而且比较大,会导致锁表(死锁). 问题分析(1)锁的分析ORACLE里锁有以下几种模式:0:none1:null 空2:Row-S 行共享(RS): ...