Azkaban3.81.x部署+坑

一、前提安装

1.1 Java1.8环境搭建

　　1) 下载jdk1.8并解压：

# tar -zxvf  jdk-8u201-linux-i586.tar.gz  -C /usr/local

2) 添加Java环境变量，在/etc/profile中添加：

export JAVA_HOME=/usr/local/jdk1.8.0_201

export PATH=$PATH:$JAVA_HOME/bin

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

　　3) 保存后刷新环境变量：

# source /etc/profile

　　4) 检查Java是否配置成功，成功配置会有如下图所示。

# java -version

1.2 MySQL安装

　　Ubuntu可以参考我的MySQL安装博文。

1.3 git安装

# sudo apt-get install git

1.4 下载azkaban

　　从github选取版本下载azkaban：

https://github.com/azkaban/azkaban/releases

　　在这里我选取了azkaban-3.84.4版本：

# wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz

　　解压：

# tar -zxvf azkaban-3.84..tar.gz -C /mnt/addDisk1/BigData/

# cd /mnt/addDisk1/BigData/azkaban-3.84.

1.5 编译

　　执行gradlew编译命令，跳过测试：

# ./gradlew distTar -x test

　　它会一下编译，直到编译成功，运行之后会生成5个压缩包，分别放在在azkaban-*/build/distributions/目录下：

azkaban-db-3.47.--gdd67b02.tar.gz

azkaban-exec-server-3.47.--gdd67b02.tar.gz

azkaban-hadoop-security-plugin-3.47.--gdd67b02.tar.gz

azkaban-solo-server-3.47.--gdd67b02.tar.gz

azkaban-web-server-3.47.--gdd67b02.tar.gz

　　接着把五个包分别解压在另外的目录下(/mnt/addDisk1/BigData/azkaban)，并重命名：

cd /mnt/addDisk1/BigData

tar -zxvf ./azkaban-3.81./azkaban-db/build/distributions/azkaban-db-0.1.-SNAPSHOT.tar.gz -C ./azkaban/

tar -zxvf ./azkaban-3.81./azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.-SNAPSHOT.tar.gz -C ./azkaban/

tar -zxvf ./azkaban-3.81./azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.-SNAPSHOT.tar.gz -C ./azkaban/

tar -zxvf ./azkaban-3.81./azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.-SNAPSHOT.tar.gz -C ./azkaban/

tar -zxvf ./azkaaban-3.81./azkaban-web-server/build/distributions/azkaban-web-server-0.1.-SNAPSHOT.tar.gz -C ./azkaban/

mv azkaban-solo-server-0.1.-SNAPSHOT/ azkaban-solo-server

mv azkaban-exec-server-0.1.-SNAPSHOT/ azkaban-exec-server

mv azkaban-web-server-0.1.-SNAPSHOT/ azkaban-web-server

mv azkaban-db-0.1.-SNAPSHOT/ azkaban-db

mv azkaban-hadoop-security-plugin-0.1.-SNAPSHOT/ azkaban-hadoop-security-plugin

二、azkaban部署

2.1 在MySQL中创建azkaban数据库：

create database azkaban;

grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban';

flush privileges;

use azkaban;

# 将azkaban sql表结构导入mysql

source /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

2.2 创建SSL配置：

# keytool -keystore keystore -alias jetty -genkey -keyalg RSA

运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下:

输入keystore密码：

再次输入新密码:

您的名字与姓氏是什么？

  [Unknown]：

您的组织单位名称是什么？

  [Unknown]：

您的组织名称是什么？

  [Unknown]：

您所在的城市或区域名称是什么？

  [Unknown]：

您所在的州或省份名称是什么？

  [Unknown]：

该单位的两字母国家代码是什么

  [Unknown]：  CN

CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？

  [否]：  y

密码在此我输入的是hadoop

输入<jetty>的主密码

        （如果和 keystore 密码相同，按回车）：

再次输入新密码:

　　完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目:

# sudo mv keystore azkaban/azkaban-web-server

2.3 部署 azkaban-web-server

# cd ./azkaban

# sudo cp -r  ./azkaban-solo-server/conf/ ./azkaban-web-server/

# cd ./azkaban-web-server/conf

　　配置azkaban.properties:

# 默认时区,已改为亚洲/上海 默认为美国

default.timezone.id=Asia/Shanghai

database.type=mysql #数据库类型

# h2.path=./h2

# h2.create.tables=true

mysql.port= #端口号

mysql.host=localhost #数据库连接IP

mysql.database=azkaban #数据库实例名

mysql.user=root #数据库用户名

mysql.password=root #数据库密码

jetty.use.ssl=true

jetty.maxThreads= #最大线程数

jetty.ssl.port= #Jetty SSL端口

jetty.port= #Jetty端口

jetty.keystore=keystore #SSL文件名

jetty.password=hadoop #SSL文件密码

jetty.keypassword=hadoop #Jetty主密码 与 keystore文件相同

jetty.truststore=keystore #SSL文件名

jetty.trustpassword=hadoop # SSL文件密码

# 执行服务器属性

executor.port= #执行服务器端口

# 邮件设置 可不设计

mail.sender=xxxxxxxx@.com #发送邮箱

mail.host=smtp..com #发送邮箱smtp地址

mail.user=xxxxxxxx #发送邮件时显示的名称

mail.password=********** #邮箱密码

job.failure.email=xxxxxxxx@.com #任务失败时发送邮件的地址

job.success.email=xxxxxxxx@.com #任务成功时发送邮件的地址

lockdown.create.projects=false #

cache.directory=cache #缓存目录

　　配置log4j.properties（默认就可以了，如有其他需求可修改）:

log4j.rootLogger=INFO, Console

log4j.logger.azkaban=INFO, server

log4j.appender.server=org.apache.log4j.RollingFileAppender

log4j.appender.server.layout=org.apache.log4j.PatternLayout

log4j.appender.server.File=logs/azkaban-webserver.log

log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{}] [Azkaban] %m%n

log4j.appender.server.MaxFileSize=102400MB

log4j.appender.server.MaxBackupIndex=

log4j.appender.Console=org.apache.log4j.ConsoleAppender

log4j.appender.Console.layout=org.apache.log4j.PatternLayout

log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{}] [Azkaban] %m%n

　　添加管理员用户:

# sudo vim azkaban-users.xml

<azkaban-users>

  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>

  <user password="metrics" roles="metrics" username="metrics"/>

  <user username="admin" password="admin" roles="admin,metrics" />

  <role name="admin" permissions="ADMIN"/>

  <role name="metrics" permissions="METRICS"/>

</azkaban-users>

2.4 部署 azkaban-exec-server

# cd /mnt/addDisk1/BigData/azkaban

# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/

# cd ./azkaban-exec-server/conf

　　配置azkaban.properties：

# sudo vim azkaban.properties

#Azkaban

default.timezone.id=Asia/Shanghai #时区

# Azkaban JobTypes 插件配置

azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置

#Loader for projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

#数据库设置

database.type=mysql #数据库类型(目前只支持mysql)

mysql.port= #数据库端口号

mysql.host=localhost #数据库IP地址

mysql.database=azkaban #数据库实例名

mysql.user=azkaba #数据库用户名

mysql.password=azkaba #数据库密码

mysql.numconnections= #最大连接数

# 执行服务器配置

executor.maxThreads= #最大线程数

executor.port= #端口号(如修改,请与web服务中一致)

executor.flow.threads= #线程数

　　在azkaban-exec-server和azkaban-web-server安装目录下创建extlib目录，将lib目录下的mysql-connector-java-5.1.28.jar包拷备这extlib目录：

# cd /mnt/addDisk1/BigData/azkaban

# sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1..jar ./azkaban-web-server/extlib/

# sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1..jar ./azkaban-exec-server/extlib/

2.5 启动web-server和exec-server

# ./azkaban-exec-server/bin/start-exec.sh

# ./azkaban-web-server/bin/start-web.sh

2.6 访问https://ip:8443打开azkaban的web页面

2.7 测试

三、遇到的问题

3.1、找到guava-*.jar包版本过低，但在/lib/下的是0.21版本，不低了，根据排除可知找到系统中版本过低的而使用。

// ::34.573 + ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"

// ::34.574 + ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector;

// ::34.574 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.Status.<clinit>(Status.java:)

// ::34.575 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.<clinit>(FetchActiveFlowDao.java:)

// ::34.575 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:)

// ::34.575 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:)

// ::34.575 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:)

// ::34.576 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:)

// ::34.576 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.start(ExecutorManager.java:)

// ::34.576 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:)

// ::34.576 + ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:)

解决方案： https://blog.csdn.net/andyguan01_2/article/details/88353889

# vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh

将如下：

for file in $azkaban_dir/lib/*.jar;

do

  CLASSPATH=$CLASSPATH:$file

done

改为：

for file in $azkaban_dir/lib/*.jar;

do

  CLASSPATH=$file:$CLASSPATH

done

# vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh

将如下：

for file in $azkaban_dir/lib/*.jar;

do

  CLASSPATH=$CLASSPATH:$file

done

改为：

for file in $azkaban_dir/lib/*.jar;

do

  CLASSPATH=$file:$CLASSPATH

done

3.2 解决executor非active的问题

解决方案：1）

# cd ./azkaban/azkaban-exec-server/

# curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

2）也可以通过在MySQL中修改：https://blog.csdn.net/JavaDestiny/article/details/90091118

参考：https://blog.csdn.net/niuchenliang524/article/details/80733890