Scrapy安装向导
原文地址 https://doc.scrapy.org/en/latest/intro/install.html
安装Scrapy
Scrapy运行在python2.7和python3.3或以上版本(Windows还不支持python3)。
如果你已经熟悉python包的安装,你可以安装Scrapy使用它的PyPI依赖:
pip install Scrapy
我们强烈建议你把Scrapy安装在一个专用的虚拟环境中,以避免和你的系统包冲突。
更多细节和平台规范介绍,继续往下读。
Things that are good to know
Scrapy完全使用Python编写,依赖少量的关键Python包(包括):
- lxml,一个高效的XML和HTML解释器
- parsel,基于lxml的HTML/XML数据提取包
- w3lib,处理url和web页面编码的多用途助手
- twisted,异步网络框架
- cryptography和pyOpenSSL,处理各种网络级需求
Scrapy测试所需最小版本:
- Twisted 14.0
- lxml 3.4
- pyOpenSSL 0.14
Scrapy可能使用更老的版本包也能工作但是不保证将来继续有效毕竟没有测试过。
这些包有些依赖非Python包,那可能需要根据你的平台添加安装步骤。请检查特定平台下指南。
有任何相关依赖方面的麻烦,请参阅各自的安装介绍:
使用一个虚拟的环境(建议)
TL;DR: 我们建议在所有平台上都是用虚拟环境安装Scrapy。
Python包既可以使用全局安装(系统范围)也可以个人安装。我们不建议在系统范围安装。
反而,我们建议你使用称为虚拟环境(virtualenv)安装scrapy。虚拟环境使你不会和已安装的python系统包(这些可能毁坏你的一些系统工具和脚本)冲突,可以直接正常使用pip(不需要sudo等)。
开始使用虚拟环境,看(虚拟环境安装介绍)。
$ [sudo] pip install virtualenv
如果你使用linux或者OSX,virtualenvwrapper 是一个方便创建虚拟环境的工具。
一旦你创建了虚拟环境,你就可以使用它的pip
安装scrapy,就像安装其他的Python包一样。(查看特定平台规范)下非Python包的安装依赖,你可能需要先安装这些。
Python虚拟环境可使用Python2或者Python3创建。
- 如果你想使用Python3安装scrapy,那么使用Python3的虚拟环境安装scrapy
如果你想使用Python2安装scrapy,那么使用Python2的虚拟环境安装scrapy
特定平台安装说明
Windows
- 安装Python2.7
你需要把Python的执行路径和脚本添加到PATH
环境变量。下面的路径需要添加到PATH
:
C:\Python27\;C:\Python27\Scripts\;
更新PATH
,打开命令函并运行:
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
关闭命令行窗口并重新打开运行下面命令并检查Python版本:
python --version
- 安装pywin32
确保你下载的架构(win32或者amd64)匹配你的系统。 - (使用Python<2.7.9的需要)安装pip
此时Python2.7和
pip
包管理器都可使用,安装Scrapy:
pip install Scrapy
Python3不在windows中支持,因为Scrapy内核需要的Twisted在python3中不支持windows。
Ubuntu 12.04及以上版本
Scrapy已经在最新的lxml,twisted和pyOpenSSL的几个版本上做过测试,并且兼容最新的Ubuntu发行版。但也支持Ubuntu的老版本,如Ubuntu 12.04,虽然存在潜在的TLS连接问题。
不要使用Ubuntu提供的python-scrapy
安装包,他们太老了,赶上最新的Scrapy很慢。
在Ubuntu系统上安装scrapy,你需要安装以下依赖:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
python-dev
,zlib1g-dev
,libxml2-dev
和libxslt-dev
是由于lxml
需要。libssl-dev
和libffi-dev
是由于cryptography
需要。
如果你想基于Python3安装scrapy,还需要安装Python3的开发头文件:
sudo apt-get install python3 python3-dev
之后在虚拟环境中,使用pip
命令安装Scrapy
pip install scrapy
Scrapy安装向导的更多相关文章
- 安装SQL SERVER 2005出现“sql2005 执行安装向导期间出错 ”
安装sql server 2005时出现“sql2005 执行安装向导期间出错”的提示,百度找了一下,发现原来是解压时候才安装了CD1的,还有CD2的没解压安装,解压CD2安装即可
- windows下scrapy安装
C:\users\XXXX>easy_install scrapy 出现错误 fatal error C1083: Cannot open include file: 'openssl/aes. ...
- python Scrapy安装和介绍
python Scrapy安装和介绍 Windows7下安装1.执行easy_install Scrapy Centos6.5下安装 1.库文件安装yum install libxslt-devel ...
- 转:Scrapy安装、爬虫入门教程、爬虫实例(豆瓣电影爬虫)
Scrapy在window上的安装教程见下面的链接:Scrapy安装教程 上述安装教程已实践,可行.(本来打算在ubuntu上安装Scrapy的,但是Ubuntu 磁盘空间太少了,还没扩展磁盘空间,所 ...
- Scrapy安装、爬虫入门教程、爬虫实例(豆瓣电影爬虫)
Scrapy在window上的安装教程见下面的链接:Scrapy安装教程 上述安装教程已实践,可行.(本来打算在ubuntu上安装Scrapy的,但是Ubuntu 磁盘空间太少了,还没扩展磁盘空间,所 ...
- Inno Setup技巧[界面]自定义安装向导小图片宽度
原文 blog.sina.com.cn/s/blog_5e3cc2f30100cj7e.html 英文版中安装向导右上角小图片的大小为55×55,汉化版中为55×51.如果图片超过规定的宽度将会被压 ...
- 开源Inno Setup官网下载、安装、打包教程(官网安装向导中文语言包)
安装Inno Setup篇 1.搜索Inno Setup 2.下载Inno Setup 3.选择下载最新 innosetup-5.5.9-unicode.exe 版本(innosetup-5.5.9. ...
- cmd 执行Dcpromo错误:在该 SKU 上不支持 Active Directory 域服务安装向导,Windows Server 2008 R2 Enterprise 配置AD(Active Directory)域控制器
今天,要安装AD域控制器,运行dcpromo结果提示:在该 SKU 上不支持 Active Directory 域服务安装向导. 以前弄的时候直接就通过了,这次咋回事?终于搞了大半天搞定了. 主要原因 ...
- scrapy安装失败:error:Microsoft Visual C++ 14.0 is reuired.及同类型安装问题解决办法
今天在安装scrapy的时候(pip install Scrapy),出现了如下错误: building 'twisted.test.raiser' extensionerror: Microsoft ...
随机推荐
- 【最大流】hihocoder 1369 : 网络流一·Ford-Fulkerson算法
http://hihocoder.com/problemset/problem/1369?sid=1328132 参考 https://blog.csdn.net/a1799342217/articl ...
- react 基础语法复习2- react入门以及JSX
引入 react 以及 ReactDom import React from 'react'; import ReactDOM from 'react-dom'; 将react组件渲染到真实dom节点 ...
- query带进度上传插件Uploadify(ASP.NET版本)使用
原文发布时间为:2010-05-13 -- 来源于本人的百度文章 [由搬家工具导入] 本文将带给大家很帅的jquery上传插件,ASP.NET版本的哦,这个插件是Uploadify实现的效果非常不错, ...
- 浏览器的 16ms 渲染帧
标签 归档 关于arttle Land 浏览器的 16ms 渲染帧 DOM JavaScript 异步 性能 重绘 由于现在广泛使用的屏幕都有固定的刷新率(比如最新的一般在 60Hz), 在两次硬件刷 ...
- Spark-RDD之 zip
zip这个函数是在scala中的,spark中也应用于RDD类型 val posLeftRDD = FreqDic1.map(line => line._1) zip sc.paralleliz ...
- (4)JavaScript引用类型
Object类 创建object实例的方式有两种 1.第一种是使用 new 操作符后跟 Object 构造函数 var person = new Object(); person.name = &qu ...
- (9)centos下防火墙firewalld设置
学习apache安装的时候需要打开80端口,由于centos 7版本以后默认使用firewalld后,网上关于iptables的设置方法已经不管用了,想着反正iptable也不会用,索性直接搬官方文档 ...
- Algorithm | Sort
Bubble sort Bubble sort, sometimes incorrectly referred to as sinking sort, is a simple sorting algo ...
- 笔记-迎难而上之Java基础进阶-终
使用Stream流的方式,遍历集合 import java.util.*; public class StreamDemo{ public static void main(String[] args ...
- hdu 3062 Party 2-SAT
题目链接:HDU - 3062 有n对夫妻被邀请参加一个聚会,因为场地的问题,每对夫妻中只有1人可以列席.在2n 个人中,某些人之间有着很大的矛盾(当然夫妻之间是没有矛盾的),有矛盾的2个人是不会同时 ...