Azkaban 3.73.1 使用简介

本文上接《Azkaban 3.73.1 集群搭建（Multiple Executor）》，对Azkaban的使用做简单说明

目录

• 目录
• 简介
• 1. 登录
• 2. 创建工程
• 3. 创建job
  • 3.1 创建 .job 文件
  • 3.2 打包
  • 3.3 创建Flow
  • 3.4 运行Flow
• 附录
  • 参考
  • 例子源码

简介

AzkabanWebServer中的三个主要元素：project、job、flow

• project：工程/项目
• job：任务，project中包含的需要执行的任务
• flow：工作流，由各个job之间的依赖关系所组成

1. 登录

1. 因为使用了SSl所以是 https
2. host为启动WebServer服务的机器ip
3. port为azkaban-web/conf/azkaban.properties中配置的jetty.ssl.port=8443
4. 账号密码为 azkaban-web/conf/azkaban-users.xml 中配置的



2. 创建工程

首页四个重要的菜单

菜单	备注
projects	工程，最重要的部分，所有flows都在工程中运行
scheduling	显示定时任务
executing	显示当前运行的任务
history	显示历史运行任务

在“projects”菜单下点击“Create Project”完成创建工程，注意请使用英文，中文会报错



3. 创建job

• web页面中并没有提供创建job的功能
• 需要自行创建以.job为扩展名的文件，并将创其通过web页面上传，才能形成job任务
• 所有的job都需要有一个知道他们如何去执行的type，附：Azkaban Jobtypes 文档

• .job文件中常用的参数，如下

  参数	备注
  dependencies	定义依赖关系，参数值为该job依赖的任务文件名（不包括.job后缀） 如果依赖多个，则以逗号分隔，如：job2,job5
  retries	任务失败时自动重启的次数
  retry.backoff	每一次任务尝试重启时之间等待的毫秒数
  working.dir	重新指定任务执行的工作目录，默认为目前正在运行的任务的工作目录
  failure.emails	任务失败时的邮件提醒设置，以逗号分隔多个邮箱
  success.emails	任务成功时的邮件提醒设置，以逗号分隔多个邮箱
  notify.emails	任务无论失败还是成功都邮件提醒设置，以逗号分隔多个邮箱

3.1 创建 .job 文件

使用 command type 举例：

job1

# 文件名：test_1.job
type=command
command=echo "This is a test job, name is test_1."
retries=5

job2

# 文件名：test_2.job
type=command
dependencies=test_1
retries=5
command=echo "This is a test job, name is test_2."
command.1=pwd
command.2=ls –l /tmp

job3

# 文件名：test_3.job
type=command
dependencies=test_1
retries=5
command=echo "This is a test job, name is test_3."
command.1=sh /opt/azkaban/job/test_script.sh

注意：/opt/azkaban/job/test_script.sh 为事先在服务器上写好的脚本，且强烈建议使用这种形式，后期维护时，只需修改此文件内容就可以了

job4

# 文件名：test_4.job
type=command
dependencies=test_2,test_3
retries=5
command=echo "This is a test job, name is test_4."
command.1=netstat -ntlp

job5

# 文件名：test_5.job
type=command
dependencies=test_4
retries=5
command=echo "This is a test job, name is test_5."
command.1=whoami



3.2 打包

压缩所有.job文件到同一个.zip文件中

• 必须是zip压缩文件，当前仅支持zip
• 所有文件必须在压缩包的根目录中，没有子目录



3.3 创建Flow

• 上传打包好的zip文件，进而生成一个Flow
• Flow的名称为最后一个没有依赖的.job文件的文件名

选择工程，直接点击“工程名”


工程页面的三个菜单

菜单	备注
Flows	工作流程，有多个job组成
Permissions	权限管理
Project Logs	工程日志

工程页面的三个按钮

按钮	备注
Delete Project	删除该工程
Upload	上传zip文件，进而生成Flow
Download	下载工程

点击“Upload”上传zip



3.4 运行Flow

Flow的三个操作按钮

按钮	备注
Execute Flow	配置或执行Flow
Executions	Flow的执行记录
Summary	Flow的总结

点击“Execute Flow”配置执行该流程


Execute Flow 的几个菜单

菜单	备注
Flow view	流程视图，“右键”可以禁用/启用某些job
Notification	定义任务成功或者失败是否发送邮件
Failure Options	定义一个job失败，剩下的job怎么执行
Concurrent	并行任务执行设置
Flow Parametters	参数设置

点击左下方的“Schedule”可设置定时执行，下方绿色字体为执行时间的提示


点击右下方“Execute”执行该Flow



“Continue”之后可以直接看到Flow的运行结果，“绿色”成功、“蓝色”执行中、“红色”失败

可查看每一个job的运行日志，如果有报错，也可以直接查看错误日志


首次运行是可能的报错

ERROR [ExecutorServlet] [Azkaban] executor became inactive before setting up the flow 1
azkaban.executor.ExecutorManagerException: executor became inactive before setting up the flow 1


需要手动去激活一下 executor，方式如下：

curl http://${executorHost}:${executorPort}/executor?action=activate



附录

参考

1. 官方：https://azkaban.github.io/azkaban/docs/latest/#creating-flows
2. https://juejin.im/post/5c8a289151882504715038cc
3. https://www.jianshu.com/p/01188607a794
4. http://www.jobplus.com.cn/article/getArticleDetail/51461

例子源码

https://github.com/remainsu/azkaban_job