如何将Scrapy 部署到Scrapyd上?
安装上传工具
1、上传工具
scrapyd-client
2、安装方法:
pip install scrapyd-client
3、上传方法:
python d:\Python27\Scripts\scrapyd-deploy target -p project
注:
target -- 主机地址,如localhost;
project -- 工程名,如stock_uc;
4、前提:
①假设python安装位置d:\Python27\;
②需进入工程目录下执行上传命令;
③可选参数:
--version r03,即:
python d:\Python27\Scripts\scrapyd-deploy target -p project --version r03
安装调度工具curl
1、Linux系统
一般情况下Linux系统自带curl工具,如果没有请百度安装方法;
2、Windows系统
1、下载地址:
链接:http://pan.baidu.com/s/1mgy9zVq
密码:4lqh
2、安装方法:
1)解压下载的文件夹,比如解压后的位置E:\bin-curl
2)添加解压后的文件夹路径到环境变量Path中,比如: D:\Python27\;D:\Python27\Scripts\;E:\bin-curl\;***
3)重启电脑是环境变量生效;
4)测试,运行:curl --help 查看帮助信息;
调度爬虫
1、添加版本信息
curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg
2、调度spider执行
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
3、取消spider的执行
curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d8651
4、列出工程
curl http://localhost:6800/listprojects.json
5、如何启动scrapyd,以及如何把一个现有的工程部署到scrapyd上面:
第一步:输入scrapyd,敲击enter,等待:
第二步:在这个服务器上部署工程,具体方法前面已经提到过
第三步:调度spider:
第四步:取消
第五步:列出工程
文章来源:麦子学院
原文链接:http://www.maiziedu.com/wiki/crawler/deploy/
如何将Scrapy 部署到Scrapyd上?的更多相关文章
- scrapy爬虫学习系列三:scrapy部署到scrapyhub上
系列文章列表: scrapy爬虫学习系列一:scrapy爬虫环境的准备: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_00 ...
- 如何部署Scrapy 到Scrapyd上?
安装上传工具 1.上传工具 scrapyd-client 2.安装方法: pip install scrapyd-client 3.上传方法: python d:\Python27\Scripts\s ...
- 第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目
第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目 scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目 下载地址:h ...
- 五十一 Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目
scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目 下载地址:https://github.com/scrapy/scrapyd 建议安装 pip3 install s ...
- scrapy 项目通过scrapyd部署
年前的时候采用scrapy 爬取了某网站的数据,当时只是通过crawl 来运行了爬虫,现在还想通过持续的爬取数据所以需要把爬虫部署起来,查了下文档可以采用scrapyd来部署scrapy项目,scra ...
- 【爬虫】将 Scrapy 部署到 k8s
一. 概述 因为学习了 docker 和 k8s ,不管什么项目都想使用容器化部署,一个最主要的原因是,使用容器化部署是真的方便.上一篇文章 [爬虫]从零开始使用 Scrapy 介绍了如何使用 scr ...
- VS2013中的MVC5模板部署到mono上的艰辛历程
部署环境:CentOS7 + Mono 3.10 + Jexus 5.6 在Xamarin.Studio创建的asp.net项目,部署过程非常顺利,没有遇到什么问题:但在VS2013中创建的asp.n ...
- 基于Flask的Web应用部署到SAE上遇到的问题
我的应用底层数据库用的是MySQL,利用Flask-SQLALchemy实现接口操作.我遇到的问题是: 在我把代码部署到SAE上后,当数据向数据库insert的时候总是出现“2006,MySQL ha ...
- WCF Service部署在IIS上
环境vs2010,WCF应用程序.如何将WCF部署在IIS上. 第一步:右键点击项目,选择生成部署包. 第二步:在你项目所在的文件目录下找到Package文件夹,这就是我们的部署包所在的地方.在这个p ...
随机推荐
- Java获取服务器网址
StringBuffer url1 = request.getRequestURL(); String tempContextUrl1 = url1.delete(url1.length() - re ...
- Pojo类(plain ordinary java object)
POJO有一些private的参数作为对象的属性.然后针对每个参数定义了get和set方法作为访问的接口.例如:public class User {private long id;private S ...
- MySQL的binlog数据如何查看
binlog介绍 binlog,即二进制日志,它记录了数据库上的所有改变. 改变数据库的SQL语句执行结束时,将在binlog的末尾写入一条记录,同时通知语句解析器,语句执行完毕. binlog格式 ...
- ADB 常用命令总结(持续更新)
1.adb devices 2.抓取adb log:adb logcat -v time >test.log (Log直接保存在个人电脑用户名下) 3.adb install 包地址(可以直接 ...
- FreeBSD_11-系统管理——{Part_1-桌面}
一.Xorg 安装 xorg pkg install xorg 清除旧文件(如果已前安装过 xorg) /etc/X11/xorg.conf /usr/local/etc/X11/xorg.conf ...
- Dell R710、720等系列类服务器 U盘安装centos6.5 操作系统
一般全新服务器创建系统的时候,没做raid 会报错,如下: 解决: 开机启动时按F10,进入下面界面. 在LC设置-语言和键盘设置选项里可以选择界面显示的语言 在界面主页选项里选择"配置RA ...
- EF常用查询写法
1.var list = from category in context.category join commodity in context.commodity on category.id eq ...
- Failed to execute goal on project MakeFriends: Could not resolve dependencie The POM for .chengpai.jtd:jtd-service-api:jar:1.0-SNAPSHOT is missing, no dependency information available
本笔者在学习maven的基础,然后建立了一个maven的项目,然后想对其进行依赖操作,pom.xml进行依赖操作时候出现了这样的错误,说是找不到这个依赖的包,但是事实上已经导入了这个包. 同时,也在m ...
- webpack与gulp的区别及实例搭建
webpack是什么,提到这个概念,很多人可能立马说出来,模块化加载器兼打包工具,可以把各种资源都作为模块来使用和处理等等. 说到前端构建工具,不可避免的会提到gulp,到底webpack和gulp有 ...
- 20151009 C# 第一篇 基础知识
20151009 C#:优点: 1. 语法简洁:不直接操作内存,去掉了指针操作 2. 面向对象:具有封装.继承.多态特性 3. 支持Web标准:支持HTML.XML.SOAP 4. 兼容性:遵循.Ne ...