ETL之apache hop系列2-hop web安装和入门

前言

在Docker安装apache hop 首先确保Docker已经安装和运行Java 11 JDK

安装文档参考：https://blog.csdn.net/Chia_Hung_Yeh/article/details/121060990

一、使用Docker 安装部署

1、拉取镜像

推荐使用下面的web版本

docker pull apache/hop:latest

docker pull apache/hop-web:latest

2、部署

a、简单部署（不使用用户名密码）

docker run -p 8080:8080 apache/hop-web:latest

b、使用用户名密码和相关数据库配置的部署

docker文件映射参考：

docker run -it  -p 24001:8080 \
-v /home/hop-web/config:/config/ \
-v /home/hop-web/plugins:/usr/local/tomcat/plugins/ \
-v /home/hop-web/lib:/usr/local/tomcat/lib/ \
apache/hop-web:latest

c、实际部署（使用用户名和密码已经同步数据库）

参考：

https://hop.apache.org/manual/latest/installation-configuration.html

https://hop.apache.org/manual/latest/hop-gui/hop-web.html（主要）

https://hop.apache.org/manual/latest/database/databases/mysql.html（主要）

https://blog.csdn.net/qq_51322266/article/details/125408967

1）在根目录home文件夹下hop-web增加配置文件，配置参考153Linux服务器上的配置

2）运行下面的docker 命令

在home/hop-web文件夹下创建config、logs、plugins三个文件夹（推荐这种）

docker run -it  -p 24001:8080 \
-v /home/hop-web/config:/config/ \
-v /home/hop-web/logs:/usr/local/tomcat/logs/ \
-v /home/hop-web/plugins/databases/mysql/lib:/usr/local/tomcat/plugins/databases/mysql/lib/ \
-v /home/hop-web/plugins/databases/mssql/lib:/usr/local/tomcat/plugins/databases/mssql/lib/ \
-v /home/hop-web/plugins/databases/oracle/lib:/usr/local/tomcat/plugins/databases/oracle/lib/ \
apache/hop-web:latest

部署成功后，浏览器打开如：http://192.168.1.153:24001/ui地址填写用户名密码登录

当然可以先创建一个简单部署的临时容器

a、把容器里的文件复制到宿主机上

docker cp c728f91ee95d:/usr/local/tomcat/webapps /home/hop

b、删除该临时容器

docker stop c728f91ee95d
docker rm c728f91ee95d

c、创建一个新的容器并挂载宿主机文件

docker run -it  -p 24001:8080 \
-v /home/hop-web/config:/config/ \
-v /home/hop-web/logs:/usr/local/tomcat/logs/ \
-v /home/hop-web/webapps:/usr/local/tomcat/webapps/ \
-v /home/hop-web/plugins/databases/mysql/lib:/usr/local/tomcat/plugins/databases/mysql/lib/ \
-v /home/hop-web/plugins/databases/mssql/lib:/usr/local/tomcat/plugins/databases/mssql/lib/ \
-v /home/hop-web/plugins/databases/oracle/lib:/usr/local/tomcat/plugins/databases/oracle/lib/ \
apache/hop-web:latest

官方文档：Hop Web :: Apache Hop

二、使用apache/hop-web

参考文章：

https://www.modb.pro/db/623848

https://blog.csdn.net/ym5209999/article/details/126009271

1、创建项目

官网文档：Projects & Environments :: Apache Hop

1）点击顶部菜单栏的P+按钮，弹出新增项目对话框界面

2）填写对应的项目名称和保存路径等，然后点击OK保存项目，项目路径一般保存在projects文件夹下和default文件夹同级，如下图第二张

2、数据库连接

1）点击左上角“+”号，选择“Relational Database Connection”进入数据库连接界面

2）参照下图输入数据库连接相关信息

3）测试连接及保存当前数据库连接，X按钮会提示保存该数据库连接点击保存

4）保存完成后，在左侧“Relational Database Connection”中，会出现新建的数据库连接信息

3、创建管道-示例

官网文档：Pipelines :: Apache Hop

管道控件使用说明文档：Transform Plugins :: Apache Hop

1）选择上面创建的项目名称，点击左上角“+”号，选择“Pipeline”进入新增管道界面

2）在页面空白处点击鼠标左键，弹出对话框选择对应的控件，点击确定

3）在鼠标左键点击控件下方的文字，弹出对话框，在对话框中填写对应的内容，点击保存

4）同步骤2，创建一个新的控件(比如Insert/update)，鼠标左键点击前面创建的控件图标，在弹出的对话框中选择Create hop箭头图标，然后再鼠标左键连接后面创建的控件

5）同步骤3，点击后面创建的控件，弹出对话框，在对话框中填写对应的内容，点击保存

6）保存管道文件，保存的文件最好是在该项目文件所在文件路径的子级

7）打开管道文件

8）运行管道文件

4、创建工作流-示例

官方文档：Untitled :: Apache Hop

工作流控件使用说明文档：Untitled :: Apache Hop

1）选择上面创建的项目名称，点击左上角“+”号，选择“Workflow”进入新增管道界面

2）在页面空白处点击鼠标左键，弹出对话框选择Pipelin控件，点击确定

3）鼠标左键点击Pipelin控件下方的文字，在弹出框点击"Browse..."浏览选择管道文件，点击OK

4）同步骤2，选择Success控件

5）控件连接，鼠标左键点击前面创建的控件图标，在弹出的对话框中选择Create hop箭头图标，然后再鼠标左键连接后面创建的控件

6）保存工作流文件

7）运行工作流文件