Scrapy环境安装
开始安装前,建议安装Visual C++ 2015 Build Tools,否则会一直出现如下提示:
下载地址:http://landinghub.visualstudio.com/visual-cpp-build-tools
1.安装python3.5,并配置环境变量。
2.安装Twisted
(1) 安装setuptools
官方主页:http://pypi.python.org/pypi/setuptools
执行后在python根目录下的scripts文件夹里就会有easy_install.py等文件了,都带有easy_install字眼。easy_install工具安装完成。
(2)安装Zope.Interface
官方主页:http://pypi.python.org/pypi/zope.interface/
下载地址:https://pypi.python.org/pypi/zope.interface/#downloads
选择符合当前环境的可供下载的egg,这里我们选择,下载,这样的一个文件,这时候把这个egg文件拷贝进入刚才我们说道的python根目录下的Scripts目录,同easy_installs等文件一个目录位置。然后进入cmd模式,在cmd模式下进入这个script目录,执行easy_install.py egg文件名,执行安装这个egg文件。
在python环境中执行import zope.interface,加入不报错误,那么说明zope.interface安装正确。
(3)安装twisted
官方主页:http://twistedmatrix.com/trac/wiki/TwistedProject
官网建议的安装方式:pip install Twisted[windows_platform]
3.安装pyOpenSSL
下载地址:https://pypi.python.org/pypi/pyOpenSSL#downloads
安装方式为:解压pyOpenSSL-16.2.0.tar.gz,进入到setup.py所在目录,使用python setup.py install命令安装。
安装成功
4.安装w3lib
主页:https://pypi.python.org/pypi/w3lib
5.安装lxml
只要自行命令 pip install lxml 就ok(在那个目录下运行无所谓)
6.安装wheel
7.安装scrapy
安装完成:
网上的教程大都是基于python2.7的,可我之前装了python3.5,就看着documentation装了一下,希望可以用。好了安装到此完成,接下来就开始spider
Scrapy环境安装的更多相关文章
- scrapy之环境安装
scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用. 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaco ...
- Python3环境安装Scrapy爬虫框架过程及常见错误
收录待用,修改转载已取得腾讯云授权 Scrapy安装介绍 Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上.下面说明Python3环境下的安装过程. Sc ...
- python3.5爬虫框架Scrapy的安装和排错(windows环境)
本文记录win7系统下使用python3.5安装Scrapy爬虫框架. Scrapy框架目前的官方文档说明是还不支持windows的python3环境的,但是网友反映以及实际测试均可以使用,下面就进行 ...
- 06 windows安装Python+Pycharm+Scrapy环境
windows安装Python+Pycharm+Scrapy环境 使用微信扫码关注微信公众号,并回复:"Python工具包",免费获取下载链接! 一.卸载python环境 卸载以下 ...
- linux下scrapy环境搭建
最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘 OS:ubuntu 14.04 python:2.7.6 scrapy:1.0.5 D ...
- Linux 下的各种环境安装
Linux 下的各种环境安装 1.安装 python Centos7 安装 python 2.7 : https://www.cnblogs.com/Jomini/p/10507077.html ...
- python3爬虫_环境安装
一.环境安装 1.python3安装 官网:https://www.python.org/downloads/ 64 位系统可以下载 Windows x86-64 executable install ...
- scrapy入门:安装scrapy
1.安装Scrapy pip 安装: pip install scrapy 要求pip至少是18.1版本的,10.x版本会提示更新pip 更新pip命令: python -m pip install ...
- Python Scrapy环境配置教程+使用Scrapy爬取李毅吧内容
Python爬虫框架Scrapy Scrapy框架 1.Scrapy框架安装 直接通过这里安装scrapy会提示报错: error: Microsoft Visual C++ 14.0 is requ ...
随机推荐
- webgl,threejs教程、笔记
发现一个不错的博客,学学. webgl和threejs教程
- stack-protector-strong
Improve protection against stack buffer overflows Much like its predecessor, stack-protector, stack- ...
- JavaBasic_05
方法 简述:实现特定功能的代码块 格式 修饰符: 返回值类型 方法名(参数类型 参数名1,参数类型 参数名2…){ 函数体; return 返回值;} 方法格式 ...
- ZOJ 1005:Jugs(思维)
Jugs Time Limit: 2 Seconds Memory Limit: 65536 KB Special Judge In the movie "Die Har ...
- C++学习(九)(C语言部分)之 项目 推箱子游戏
游戏制作 推箱子 步骤分析 1.模板 2.模板分析 组成元素: 空地 墙 人 目的地 箱子 背景 3.如何操作 通过WASD键盘操作人,推着箱子,到达目的地,游戏结束,如果箱子卡在死角则游戏失败 4. ...
- ios-计算时间方法
-(NSString *)countPublishTime:(NSString *)sDate { NSDate *dtNow = [NSDate date]; NSDateFormatter *da ...
- Vue.js系列之项目搭建
项目搭建具体步骤如下: 1.安装node (中)https://nodejs.org/zh-cn/ (英)https://nodejs.org/en/ 2.安装cnpm镜像 (node自带安装了npm ...
- Python中msgpack库的使用
msgpack用起来像json,但是却比json快,并且序列化以后的数据长度更小,言外之意,使用msgpack不仅序列化和反序列化的速度快,数据传输量也比json格式小,msgpack同样支持多种语言 ...
- top-adx-apps
中国地区top adx和流量平台 12719 unity ios 12001 mopub ios 6599 unity android 5277 mobfox ios 3855 mopub andro ...
- TECH books
文章目录 TECH books linux vxworks bat c gdb c++ vbscript make java bash perl web uml software-misc cpu e ...