爬虫管理平台以及wordpress本地搭建

爬虫管理平台以及wordpress本地搭建

学习目标：

1. 各爬虫管理平台了解
   • scrapydweb
   • gerapy
   • crawlab
2. 各爬虫管理平台的本地搭建
3. Windows下的wordpress搭建

爬虫管理平台了解:

1. scrapydweb：

   用于Scrapyd实施管理的web应用程序，支持Scrapy日志分析和可视化
   
   github地址：https://github.com/my8100/scrapydweb.git
   

2. gerapy：

   基于Scrapy，Scrapyd，Scrapyd-Client，Scrapyd-API，Django和Vue.js的分布式爬虫管理框架
   
   相关的配置在我之前博客地址：https://www.cnblogs.com/xbhog/p/13336651.html
   
   该项目github地址：https://github.com/Gerapy/Gerapy.git
   

3. crawlab：

   基于Golang的分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.
   
   文档地址：https://docs.crawlab.cn/zh/
   
   GitHub地址：https://github.com/crawlab-team/crawlab.git
   

注意：前两个框架的搭建基于Scrapyd，如果不知道怎么配置可以看我之前写的博客：https://www.cnblogs.com/xbhog/p/13336651.html

爬虫管理平台的本地搭建：

1. scrapydweb搭建：

   • 安装：pip install scrapydweb -i https://pypi.doubanio.com/simple

   • 先打开scrapyd（命令行输入）

   • 再输入scrapydweb

   • 界面效果：

     

   • 部署安装网上教程很多，不多赘述

2. gerapy

   • 相关的配置在我之前博客地址：https://www.cnblogs.com/xbhog/p/13336651.html

3. crawlab：（配置安装官方给的很详细，这里简单说下）

   • 首先把代码从远程仓库clone下来：git clone 地址/复制地址到pycharm中

   • #官方推荐几种安装方式：
     Docker（入门简单，推荐）
     Kubernetes（多机器部署，推荐）
     直接部署（理解原理）
     开发模式（开发调试）
     多节点部署
     #个人选择docker,该项目配置环境过多，怕给本地造成冲突
     

   • docker的安装：

     • 安装地址：https://www.docker.com/products/docker-desktop

     • 安装环境：本地虚拟化以及hyper-V需要打开，如图所示

   

   

   • 默认安装即可

   • 相关详细链接（菜鸟教程：https://www.runoob.com/docker/windows-docker-install.html）

   • 安装docker-compose包：pip install docker-compose

   • 在根目录下测试：

     docker-compose ps
     正常为空
     Name   Command   State   Ports
     ------------------------------
     --------------------------------
     

   • 安装并启动：docker-compose up -d

   • http://127.0.0.1:8080/#/login进入即可

Windows下的wordpress搭建：

环境准备：

1. wampserver软件
2. wordpress源码
3. 百度网盘地址：链接：https://pan.baidu.com/s/1mAFu8XrNSfpyL_VgSvb8VA 提取码：1234

搭建步骤：

1. 打开wampserver.exe，默认安装（注意在安装路径的时候不能有中文文件夹）

2. 最后会有四个弹窗：

   • 是否更改浏览器，该软件默认浏览器是explorer,我们点击是，选择谷歌浏览器；

     

   • 选择nodpad++，选择否。

     

3. 安装完成后，点击桌面图标运行，程序颜色表示状态

   • 红色：配置没启动
   • 橙色：配置启动一部分
   • 绿色：配置完全启动

4. 绿色后，单机程序图标，点击localhost进入网页

   • 
   • 

5. 将预先准备的wordpress安装包放到wampserver/www文件夹下

   

6. 进入网页地址输入：localhost/wordpress

   

   点击开始进入配置页面：

   

7. 上面配置先放置，我们先进行数据库设置

   

   

   输入用户名root,密码空，点击执行。

8. 进入账户下的root，修改权限，修改密码

   

   

9. 我们需要对应之前的数据库名称（wordpress）,所以新建数据库

   

10. 设置成功后返回之前的数据库登录页面，填写相关信息：

    

11. 提交进入登陆界面配置：

    

12. 填写完成进入登陆界面

    ​

13. 登陆：前后台界面