1.下载:
git clone https://github.com/azkaban/azkaban.git

2.编译:
./gradlew build -x test

3. 创建目录并拷贝
mkdir /opt/local/azkaban
cp -r azkaban-*/build/distributions/azkaban-*.tar.gz /opt/local/azkaban
解压缩文件夹,并重命名

4. 在mysql中创建azkaban元数据库, 导入元数据库表

创建数据库,并创建用户赋值权限

grant all privileges on azkaban.* to azkaban@dwdev-name2 identified by 'azkaban';
flush privileges;

使用create-all-sql-3.58.0-2-gfd56124.sql 脚本导入元数据库表。

mysql -uazkaban -p
use azkaban
source create-all-sql-3.58.0-2-gfd56124.sql

5. 配置executor-server

主要修改点:时区、mysql数据库链接

default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://dwdev-name1:8081
mysql.port=
mysql.host=dwdev-name2
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
executor.port=12321 #如果配置成solo-server或者two-server模式,要指定固定端口,同样web-server也需要指定相同的端口。

6. 生成SSL证书

使用下面命令生成ssl证书,密码和最后确认输入,其他默认为空即可。

需要切换到azkaban-web-server根目录执行。

cd /opt/local/azkaban/azkaban-web-server
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

7. 配置azkaban-web-server

default.timezone.id=Asia/Shanghai   #修改时区

# Azkaban Jetty server properties
jetty.use.ssl=true #开启ssl,如果为false,则不需要执行第6步
jetty.maxThreads=25
jetty.port=8081
jetty.ssl.port=8443
jetty.keystore=keystore #证书目录在web-server根目录
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=keystore
jetty.trustpassword=123456 # mysql数据库配置
database.type=mysql
mysql.port=3306
mysql.host=dwdev-name2
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100 # 指定excutor port
executor.port=12321 #Multiple Executor
azkaban.use.multiple.executors=false #关闭multiple-executor模式

8. 启动azkaban-exec-server

注意:在azkaban-exec-server目录下启动, bin/start-exec.sh

查看数据库azkaban表excutors中的active状态是否为1,如果不是,需要是手工修改为1。

9. 启动azkaban-web-server

注意:在shazkaban-web-server目录下启动, bin/start-web.sh

10. 应用模式,目前上面的配置采用的是第二种模式。

azkaban三种模式执行:

1) solo-server模式、

DB使用的是一个内嵌的H2,Web Server和Executor Server运行在同一个进程里。这种模式包含Azkaban的所有特性,但一般用来学习和测试。

2)two-server模式

DB使用的是MySQL,MySQL支持master-slave架构,Web Server和Executor Server运行在不同的进程中。

3)multiple-executor模式。

DB使用的是MySQL,MySQL支持master-slave架构,Web Server和Executor Server运行在不同机器上,且有多个Executor Server。

目前我们使用的是第二中模式,即two-server模式,其实是在一台服务器上启动了两个进程,分别运行了WebServer和ExecutorServer。

完成后上图

azkaban安装的更多相关文章

  1. Azkaban安装部署

    在root的用户下搭建的 • Azkaban安装部署(可参照:http://azkaban.github.io/azkaban/docs/latest/) 1):前提 安装JDK,安装Hadoop,H ...

  2. azkaban安装使用

    本文记录azkaban的安装和 一些报错处理(文章末尾). AzKaban组成 MySQL数据库,azkaban-server (web端),azkaban-executor (执行job) 1.下载 ...

  3. Azkaban安装及分布式部署(multiple-executor)

    参考文章:https://blog.csdn.net/weixin_35852328/article/details/79327996 官网:https://azkaban.readthedocs.i ...

  4. 分布式计算(四)Azkaban安装

    Azkaban是一个批量工作流任务调度器,使用Java语言开发.用于在一个工作流内以一个特定的顺序运行一组工作和流程.Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web ...

  5. 大数据技术之_13_Azkaban学习_Azkaban(阿兹卡班)介绍 + Azkaban 安装部署 + Azkaban 实战

    一 概述1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 各种调度工具特性对比1.4 Azkaban 与 Oozie 对比二 Azkaban(阿兹卡班) 介绍三 Azkaban 安装部 ...

  6. azkaban(安装配置加实战)

    为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成:shell 脚本程序,java 程序,mapreduce 程序.hive 脚本等 各任务单元之间存在时间先后及前后依赖关 ...

  7. Azkaban安装配置

    描述: azkaban主要用于离线计算任务的调度 说明: 此处Azkaban选择版本为:3.52.0,部署方式为Cluster模式,即支持多Executor计算节点,目前默认安装方式选择在同一台机器上 ...

  8. azkaban安装步骤

    安装包 1.得到软件包 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server- ...

  9. Azkaban使用安装文档

    Azkaban使用安装文档 Azkaban简介 Azkaban的是什么 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程.Az ...

随机推荐

  1. 第2章 Python基础-字符编码&数据类型 字典 练习题

    1.写代码,有如下字典,按照要求实现每一个功能,dic = {'k1':'v1','k2':'v2','k3':[11,22,33]} 请循环输出所有的 key dic = {'k1':'v1','k ...

  2. 稀疏傅里叶变换(sparse FFT)

    作者:桂. 时间:2018-01-06  14:00:25 链接:http://www.cnblogs.com/xingshansi/p/8214122.html 前言 对于数字接收来讲,射频域随着带 ...

  3. SQLMap 学习

    注入完整流程:http://mp.weixin.qq.com/s/G_DUUVuPH9DeWagjELCPfA sqlmap命令:http://www.cnblogs.com/handt/p/855f ...

  4. 如何只打印中间的符号(c语言)

    经常有这样的问题,要求打印如下格式: a,b,c,d,e 进而要求,如果abcde有为0的值,取消打印,假设:a=1,b=0,c=12,d=0,e=5或者,a=0,b=2,c=0,d=10,e=0等等 ...

  5. 【转】10个非常有用的网页设计工具 | Goodfav Magazine

    10+ very useful Web Designer Tools Totally free legal computer eBooks download, available in various ...

  6. 【小白的CFD之旅】21 网格划分软件的选择

    但是怎样才能获得流体计算网格呢?“工欲善其事必先利其器”,画网格该用什么器呢?小白决定找黄师姐请教一番. 小白找到黄师姐的时候,黄师姐正在电脑上忙着. “黄师姐,我发现网格划分软件有好多种,究竟哪种才 ...

  7. OpenStack OVS GRE/VXLAN

    https://www.jianshu.com/p/0b52de73a4b3 OpenStack OVS GRE/VXLAN网络 学习或者使用OpenStack普遍有这样的现象:50%的时间花费在了网 ...

  8. angular学习笔记(三十)-指令(7)-compile和link(3)

    本篇接着上一篇来讲解当指令中带有template(templateUrl)时,compile和link的执行顺序: 把上一个例子的代码再进行一些修改: 1.将level-two指令改成具有templa ...

  9. 未能为数据库 '*'中得对象'*'分配空间,因文件组'PRIMARY'已满

    服务器使用mssqlserver2005,最近经常出现无法新增信息错误,查看日志,发现严重错误提示,内容大致为: 无法为数据库 'weixin_main' 中的对象 'dbo.wx_logs'.'PK ...

  10. Android 开发添加控件事件的三种方式

    import android.app.Activity; import android.os.Bundle; import android.view.View; import android.view ...