scrapyd+gerapy的项目部署:

简单学习,后续跟进完善

声明:

   1)仅作为个人学习,如有冒犯,告知速删!
   2)不想误导,如有错误,不吝指教!

环境配置:

scrapyd下载:

  pip install scrapyd -i https://pypi.com/simple

scrapyd部署:

  scrapyd-deploy -p 项目名

注意:需要切换到项目的根目录下运行

scrapyd遇到的问题:

  1. 'scrapyd-deploy' 不是内部或外部命令,也不是可运行的程序,

  2. 解决方法:

    1. 找到scrapyd-deploy文件(Scripts文件夹下),这里每个人配置的pip安装路径不同 ;

    2. 然后在这个文件夹内创建两个文件,scrapy.bat 和 scrapyd-deploy.bat (新建 txt 文本文档,然后更改后缀名为 .bat)

    3. 编辑scrapyd-deloy.bat:

       @echo off
       #python.exe路径 scrapyd-deploy路径
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe    C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd-deploy %*
       ​
    4. scrapy.bat编辑:

       @echo off
       #python.exe路径 scrapyd路径
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd %*

      注意:上面路径没有分行,两个路径之间有空格!

    5. 保存,新起cmd,运行scrapyd-deploy -h,出现以下信息即成功:

        Usage: scrapyd-deploy [options] [ [target] | -l | -L <target> ]

      Deploy Scrapy project to Scrapyd server

      Options:
      -h, --help show this help message and exit
      -p PROJECT, --project=PROJECT
      the project name in the target
      -v VERSION, --version=VERSION
      the version to deploy. Defaults to current timestamp
      -l, --list-targets list available targets
      -a, --deploy-all-targets
      deploy all targets
      -d, --debug debug mode (do not remove build dir)
      -L TARGET, --list-projects=TARGET
      list available projects on TARGET
      --egg=FILE use the given egg, instead of building it
      --build-egg=FILE only build the egg, don't deploy it
  3. 运行部署命令后报错:

      C:\Users\Administrator\PycharmProjects\code\xbhog>scrapyd-deploy -p xbhog
    Packing version 1595062659
    Deploying to project "xbhog" in http://localhost:6800/addversion.json
    Deploy failed: <urlopen error [WinError 10061] 由于目标计算机积极拒绝,无法连接。>
    C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe: can't open file 'C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd': [Errno 2] No such file or directory
  4. 解决方法:

    1. 先在一个cmd窗口执行scrapyd

    2. 然后再用另一个cmd窗口部署项目

gerapy安装以及使用:

  pip install gerapy -i https://pypi.com/simple
使用:
  • 1.在本地创建空文件夹

  • 2.进入文件夹,建立项目(gerapy init)

  • 3.进入生成的gerapy文件中

  • 4.对数据库进行初始化(gerapy migrate)

  • 5.创建超级管理员(gerapy initadmin)---账号密码:admin

  • 6.运行:gerapy runserver

scrapyd+gerapy搭配使用的效果图:

scrapyd+gerapy的项目部署的更多相关文章

  1. Scrapyd+Gerapy部署Scrapy爬虫进行可视化管理

    Scrapy是一个流行的爬虫框架,利用Scrapyd,可以将其部署在远程服务端运行,并通过命令对爬虫进行管理,而Gerapy为我们提供了精美的UI,可以在web页面上直接点击操作,管理部署在scrap ...

  2. 爬虫部署 --- scrapyd部署爬虫 + Gerapy 管理界面 scrapyd+gerapy部署流程

    ---------scrapyd部署爬虫---------------1.编写爬虫2.部署环境pip install scrapyd pip install scrapyd-client 启动scra ...

  3. scrapy抓取拉勾网职位信息(八)——使用scrapyd对爬虫进行部署

    上篇我们实现了分布式爬取,本篇来说下爬虫的部署. 分析:我们上节实现的分布式爬虫,需要把爬虫打包,上传到每个远程主机,然后解压后执行爬虫程序.这样做运行爬虫也可以,只不过如果以后爬虫有修改,需要重新修 ...

  4. jsp项目部署

    每新建一个项目都要发布到服务器,也就是项目部署,在tomcat中的  tomcat\Tomcat 6.0\webapps  路径下就会新建你的项目文件夹 webapps是tomcat的默认访问路径,很 ...

  5. javaWeb项目部署到阿里云服务器步骤

    记录web项目部署到阿里云服务器步骤 (使用 web项目.阿里云服务器.Xftp.Xshell),敬请参考和指正 1.将要部署的项目打包成WAR文件格式,可以在MyEclipse.Eclipse都可以 ...

  6. Spring+SpringMvc+Mybatis框架集成搭建教程四(项目部署及测试)

    在IDEA中将项目部署到本地Tomcat下进行运行并验证整合结果 (1).点击如下图所示的下拉按钮,弹出Edit Configurations...后点击该项. (2).跳出如下界面后,点击红框内的& ...

  7. SSIS2012 项目部署模型

    SSIS 2012 支持两种部署模型:项目部署模型和包部署模型. 使用项目部署模型可以将项目部署到 Integration Services 服务器,使用包部署模型可以将单独的包部署到Integrat ...

  8. 项目部署到tomcat Root中后导致 WebApplicationContext 初始化两次的解决方法

    上一篇文章刚说项目部署到tomcat的ROOT中,今天就发现一个问题.通过eclipse启动tomcat时候,WebApplicationContext 初始化两次: 现象:   通过eclipse控 ...

  9. 百度BAE JAVA环境项目部署和调试

    起初在一个应用挂在虚拟主机上,昨天早上虚拟主机挂了.本来考虑迁移到SAE上的,但之前发现SAE的JVM云豆消耗的太快(PS:我是中级开发者,每月 10000云豆,如果有哪位大神对SAE JAVA云豆能 ...

随机推荐

  1. Head_First_Python(中文版)完整版PDF免费下载_百度云盘

    Head_First_Python(中文版)完整版PDF免费下载_百度云盘 提取码:bjbg 本书特色 根据认知科学和学习理论的最新研究成果,这本书采用一种适合大脑的丰富格式娓娓道来,而不是长篇累牍地 ...

  2. 【Python爬虫】HTTP基础和urllib库、requests库的使用

    引言: 一个网络爬虫的编写主要可以分为三个部分: 1.获取网页 2.提取信息 3.分析信息 本文主要介绍第一部分,如何用Python内置的库urllib和第三方库requests库来完成网页的获取.阅 ...

  3. Redis持久性——RDB和AOF

    Redis持久性 Redis提供了不同的持久性选项: RDB持久性以指定的时间间隔执行数据集的时间点快照. AOF持久性记录服务器接收的每个写入操作,将在服务器启动时再次播放,重建原始数据集.使用与R ...

  4. Elasticsearch修改分词器以及自定义分词器

    Elasticsearch修改分词器以及自定义分词器 参考博客:https://blog.csdn.net/shuimofengyang/article/details/88973597

  5. Spring学习笔记下载

    动力节点的spring视频教程相当的经典:下载地址 https://pan.baidu.com/s/1eTSOaae

  6. Python 简明教程 --- 13,Python 集合

    微信公众号:码农充电站pro 个人主页:https://codeshellme.github.io 如果代码和注释不一致,那很可能两者都错了. -- Norm Schryer 目录 前几节我们已经介绍 ...

  7. vue+iview多条联动,for循环data是函数

    问题:多条for循环出的数据二级联动for循环出多条数据,每条数据都有一个二级联动,每次下拉一级联动,二级的选项都是变化的. 思考刚开始一直想不出如何实现二级联动下拉的数据动态变化,因为之前一直都是v ...

  8. 【状压dp】Bzoj1294 围豆豆

    题目 Input 第一行两个整数N和M,为矩阵的边长. 第二行一个整数D,为豆子的总个数. 第三行包含D个整数V1到VD,分别为每颗豆子的分值. 接着N行有一个N×M的字符矩阵来描述游戏矩阵状态,0表 ...

  9. 使用scrapy实现去重,使用Redis实现增量爬取

    面试场景: 要求对正在爬取的内容与mysql数据库中的数据进行比较去重 解决方式: 通过Redis来作为中间件,通过url来确保爬过的数据不会再爬,做到增量爬取. Redis数据库其实就是一个中间件, ...

  10. Web前端开发未来的六大趋势

    说起Web前端开发想必你一定不会陌生,因为现在的前端开发学习的培训机构也是层出不穷.下面济南优就业IT培训给大家总结出了未来Web前端开发的六大趋势从中可以大致看出来Web前端未来的发展前景. 趋势一 ...