Azkaban3.x

Azkaban3.x安装部署

官方文档地址

三种模式

• solo-server模式：exec进程和web进程为同一个进程，存放元数据的数据库为H2
• two-server模式：与之前的单机版本类似，exec进程和web进程分开，存放元数据的数据库为mysql
• multiple-executor模式：exec进程和web进程在不同的机器上，存放元数据的数据库为mysql

一、solo模式安装

　　1.克隆项目：git clone https://github.com/azkaban/azkaban.git
　　2.编译：./gradlew build installDist
　　3.启动：cd azkaban-solo-server/build/install/azkaban-solo-server; bin/azkaban-solo-start.sh

　　4.在8081端口查看
　　5.停止：bin/azkaban-solo-shutdown.sh

二、two-server模式

1 下载。git clone https://github.com/azkaban/azkaban.git

得到文件夹azkaban/,当前版本为3.39.0

2 编译。

在azkaban目录下执行 ：./gradlew distTar

编译结果为：

azkaban-common : 常用工具类。

azkaban-db : 对应的sql脚本

azkaban-hadoop-secutity-plugin : hadoop 有关kerberos插件

azkaban-solo-server: web和executor 一起的项目。

azkaban-web/executor-server:azkaban的 web和executor的server信息

azkaban-spi: azkaban存储接口以及exception类

创建文件夹:mkdir azkaban-3.39

3 拷贝

cp azkaban-exec-server/build/distributions/azkaban-exec-server-3.39.0-17-g7b7833a.tar.gz /opt/modules/azkaban3.39.0/
cp azkaban-web-server/build/distributions/azkaban-web-server-3.39.0-17-g7b7833a.tar.gz /opt/modules/azkaban3.39.0/

cp azkaban-db-3.39.0/build/distributions/azkaban-db-3.39.0-2-gbd9e6e4.tar.gz /azkaban-3.39/

4.解压缩后并重新命名

5.安装mysql

这里直接使用root用户

安装mysql服务器:yum install mysql-server

设置开机启动:chkconfig mysqld on 

启动mysql服务:service mysqld start

设置root的初试密码：mysqladmin -u root password '123456'

启动mysql:  systemctl start mysqld.service

打开mysql:mysql -uroot -p123456

　　创建数据库>CREATE DATABASE azkaban

　　use azkaban

  source  /azkaban-3.39/azkaban-db-3.39.0-2/create-all-sql-3.39.0-2-gbd9e6e4.sql

6.创建SSL配置

在azkaban-web=*/conf下

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入密钥库口令:  

密钥库口令太短 - 至少必须为 6 个字符

输入密钥库口令:  

再次输入新口令: 

您的名字与姓氏是什么?

[Unknown]:  

您的组织单位名称是什么?

[Unknown]:  

您的组织名称是什么?

[Unknown]:  

您所在的城市或区域名称是什么?

[Unknown]:  

您所在的省/市/自治区名称是什么?

[Unknown]:  

该单位的双字母国家/地区代码是什么?

[Unknown]: CN

CN=, OU=, O=, L=, ST=, C=CN是否正确?[否]:  Y

7.将azkaban-solo-server-3.39.0下的conf，plugins，sql拷贝到azkaban-exec-server-3.39.0

　　1>配置 conf/azkaban.properties

　　　　修改数据库配置

　　　　database.type=mysql

　　　　mysql.port=3306

　　　　mysql.host=192.168.3.247

　　　　mysql.database=azkaban

　　　　mysql.user=root

　　　　mysql.password=123456

　　　　mysql.numconnections=100

　　2>添加log4j.properties文件

　　　　在/conf下新建log4j.properties文件

　　　　将

　　　　log4j.rootLogger=INFO,C

　　　　log4j.appender.C=org.apache.log4j.ConsoleAppender

　　　　log4j.appender.C.Target=System.err

　　　　log4j.appender.C.layout=org.apache.log4j.PatternLayout

　　　　log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

　　　　拷入，同样执行器exec文件下的/conf也需要新建

　　3>添加mysql驱动

　　　　在/azkaban-3.39/azkaban-exec-server-3.39.0-2下新建文件夹 ：mkdir extlib

　　　　将lib下的mysql链接驱动复制到extlib下

　　　　同时需要修改ban-3.39/azkaban-web-server-3.39.0-2下的azkaban.properties,建立extlib文件将mysql驱动拷入

8.启动

注意先启动执行器然后启动web服务器，需要在bin级目录执行，否则汇报找不到配置文件的错误

cd azkaban-exec-server-3.39.0-2

bin/azkaban-executor-start.sh

cd azkaban-web-server-3.39.0-2

bin/azkaban-web-start.sh（后台启动：nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out &）

常见错误：

1.执行任务时Missing required property 'azkaban.native.lib'

　　解决方案:azkaban-3.37.0/azkaban-common/src/main/java/azkaban/jobExecutor/ProcessJob.java里

　　然后重启

2.若mysql数据库链接不上请检查mysql数据库下azkaban数据库是否可以访问，

　　若无法远程访问请使用root用户登录到mysql数据库

　　mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';

　　mysql> GRANT ALL ON azkaban.* to 'azkaban'@'%' IDENTIFIED BY 'azkaban';

配置文件azkaban.properties内容说明:

#Azkaban Personalization Settings

azkaban.name=Test     #服务器UI名称,用于服务器上方显示的名字

azkaban.label=My Local Azkaban    #描述

azkaban.color=#FF3601     #UI颜色

azkaban.default.servlet.path=/index

web.resource.dir=web/    #默认根web目录

default.timezone.id=Asia/Shanghai  #默认时区,已改为亚洲/上海 默认为美国

#Azkaban UserManager class

user.manager.class=azkaban.user.XmlUserManager   #用户权限管理默认类

user.manager.xml.file=conf/azkaban-users.xml   #用户配置,具体配置参加下文

#Loader for projects

executor.global.properties=conf/global.properties    # global配置文件所在位置

azkaban.project.dir=projects

database.type=mysql    #数据库类型

mysql.port=3306    #端口号

mysql.host=localhost  #数据库连接IP

mysql.database=azkaban    #数据库实例名

mysql.user=root      #数据库用户名

mysql.password=root    #数据库密码

mysql.numconnections=100

# Velocity dev mode

velocity.dev.mode=false

# Jetty服务器属性.

jetty.maxThreads=25   #最大线程数

jetty.ssl.port=8443   #Jetty SSL端口

jetty.port=8081      #Jetty端口

jetty.keystore=keystore   #SSL文件名

jetty.password=123456    #SSL文件密码

jetty.keypassword=123456    #Jetty主密码 与 keystore文件相同

jetty.truststore=keystore    #SSL文件名

jetty.trustpassword=123456   # SSL文件密码

# 执行服务器属性

executor.port=12321    #执行服务器端口

# 邮件设置

mail.sender=xxxxxxxx@163.com     #发送邮箱

mail.host=smtp.163.com   #发送邮箱smtp地址

mail.user=xxxxxxxx     #发送邮件时显示的名称

mail.password=**********   #邮箱密码

job.failure.email=xxxxxxxx@163.com   #任务失败时发送邮件的地址

job.success.email=xxxxxxxx@163.com   #任务成功时发送邮件的地址

lockdown.create.projects=false

cache.directory=cache    #缓存目录

用户配置(可选)

进入azkaban web服务器conf目录,修改azkaban-users.xml

vi azkaban-users.xml 增加 管理员用户

<azkaban-users>

<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />

<user username="metrics" password="metrics" roles="metrics"/>

<user username="admin" password="admin" roles="admin,metrics" />

<role name="admin" permissions="ADMIN" />

<role name="metrics" permissions="METRICS"/>

</azkaban-users>

Azkaban实战

Azkaba内置的任务类型支持command、java、python

Command类型单一job示例

1、创建job描述文件

vi command.job

#command.job

type=command

command=echo 'hello'

2、将job资源文件打包成zip文件

zip command.job

3、通过azkaban的web管理平台创建project并上传job压缩包

首先创建project

上传zip包

4、启动执行该job

Command类型多job工作流flow

1、创建有依赖关系的多个job描述

第一个job：foo.job

# foo.job

type=command

command=echo foo

第二个job：bar.job依赖foo.job

# bar.job

type=command

dependencies=foo

command=echo bar

2、将所有job资源文件打到一个zip包中

3、在azkaban的web管理界面创建工程并上传zip包

4、启动工作流flow

HDFS操作任务

1、创建job描述文件

# fs.job

type=command

command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop fs -mkdir /azaz

2、将job资源文件打包成zip文件

3、通过azkaban的web管理平台创建project并上传job压缩包

4、启动执行该job

MAPREDUCE任务

Mr任务依然可以使用command的job类型来执行

1、创建job描述文件，及mr程序jar包（示例中直接使用hadoop自带的examplejar）

# mrwc.job

type=command

command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop  jar hadoop-mapreduce-examples-2.6.1.jar wordcount /wordcount/input /wordcount/azout

2、将所有job资源文件打到一个zip包中

3、在azkaban的web管理界面创建工程并上传zip包

4、启动job

HIVE脚本任务

l  创建job描述文件和hive脚本

Hive脚本： test.sql

use default;

drop table aztest;

create table aztest(id int,name string) row format delimited fields terminated by ',';

load data inpath '/aztest/hiveinput' into table aztest;

create table azres as select * from aztest;

insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest;

Job描述文件：hivef.job

# hivef.job

type=command

command=/home/hadoop/apps/hive/bin/hive -f 'test.sql'

2、将所有job资源文件打到一个zip包中

3、在azkaban的web管理界面创建工程并上传zip包

4、启动job