1.下载:
git clone https://github.com/azkaban/azkaban.git

2.编译:
./gradlew build -x test

3. 创建目录并拷贝
mkdir /opt/local/azkaban
cp -r azkaban-*/build/distributions/azkaban-*.tar.gz /opt/local/azkaban
解压缩文件夹,并重命名

4. 在mysql中创建azkaban元数据库, 导入元数据库表

创建数据库,并创建用户赋值权限

grant all privileges on azkaban.* to azkaban@dwdev-name2 identified by 'azkaban';
flush privileges;

使用create-all-sql-3.58.0-2-gfd56124.sql 脚本导入元数据库表。

mysql -uazkaban -p
use azkaban
source create-all-sql-3.58.0-2-gfd56124.sql

5. 配置executor-server

主要修改点:时区、mysql数据库链接

default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://dwdev-name1:8081
mysql.port=
mysql.host=dwdev-name2
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
executor.port=12321 #如果配置成solo-server或者two-server模式,要指定固定端口,同样web-server也需要指定相同的端口。

6. 生成SSL证书

使用下面命令生成ssl证书,密码和最后确认输入,其他默认为空即可。

需要切换到azkaban-web-server根目录执行。

cd /opt/local/azkaban/azkaban-web-server
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

7. 配置azkaban-web-server

default.timezone.id=Asia/Shanghai   #修改时区

# Azkaban Jetty server properties
jetty.use.ssl=true #开启ssl,如果为false,则不需要执行第6步
jetty.maxThreads=25
jetty.port=8081
jetty.ssl.port=8443
jetty.keystore=keystore #证书目录在web-server根目录
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=keystore
jetty.trustpassword=123456 # mysql数据库配置
database.type=mysql
mysql.port=3306
mysql.host=dwdev-name2
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100 # 指定excutor port
executor.port=12321 #Multiple Executor
azkaban.use.multiple.executors=false #关闭multiple-executor模式

8. 启动azkaban-exec-server

注意:在azkaban-exec-server目录下启动, bin/start-exec.sh

查看数据库azkaban表excutors中的active状态是否为1,如果不是,需要是手工修改为1。

9. 启动azkaban-web-server

注意:在shazkaban-web-server目录下启动, bin/start-web.sh

10. 应用模式,目前上面的配置采用的是第二种模式。

azkaban三种模式执行:

1) solo-server模式、

DB使用的是一个内嵌的H2,Web Server和Executor Server运行在同一个进程里。这种模式包含Azkaban的所有特性,但一般用来学习和测试。

2)two-server模式

DB使用的是MySQL,MySQL支持master-slave架构,Web Server和Executor Server运行在不同的进程中。

3)multiple-executor模式。

DB使用的是MySQL,MySQL支持master-slave架构,Web Server和Executor Server运行在不同机器上,且有多个Executor Server。

目前我们使用的是第二中模式,即two-server模式,其实是在一台服务器上启动了两个进程,分别运行了WebServer和ExecutorServer。

完成后上图

azkaban安装的更多相关文章

  1. Azkaban安装部署

    在root的用户下搭建的 • Azkaban安装部署(可参照:http://azkaban.github.io/azkaban/docs/latest/) 1):前提 安装JDK,安装Hadoop,H ...

  2. azkaban安装使用

    本文记录azkaban的安装和 一些报错处理(文章末尾). AzKaban组成 MySQL数据库,azkaban-server (web端),azkaban-executor (执行job) 1.下载 ...

  3. Azkaban安装及分布式部署(multiple-executor)

    参考文章:https://blog.csdn.net/weixin_35852328/article/details/79327996 官网:https://azkaban.readthedocs.i ...

  4. 分布式计算(四)Azkaban安装

    Azkaban是一个批量工作流任务调度器,使用Java语言开发.用于在一个工作流内以一个特定的顺序运行一组工作和流程.Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web ...

  5. 大数据技术之_13_Azkaban学习_Azkaban(阿兹卡班)介绍 + Azkaban 安装部署 + Azkaban 实战

    一 概述1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 各种调度工具特性对比1.4 Azkaban 与 Oozie 对比二 Azkaban(阿兹卡班) 介绍三 Azkaban 安装部 ...

  6. azkaban(安装配置加实战)

    为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成:shell 脚本程序,java 程序,mapreduce 程序.hive 脚本等 各任务单元之间存在时间先后及前后依赖关 ...

  7. Azkaban安装配置

    描述: azkaban主要用于离线计算任务的调度 说明: 此处Azkaban选择版本为:3.52.0,部署方式为Cluster模式,即支持多Executor计算节点,目前默认安装方式选择在同一台机器上 ...

  8. azkaban安装步骤

    安装包 1.得到软件包 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server- ...

  9. Azkaban使用安装文档

    Azkaban使用安装文档 Azkaban简介 Azkaban的是什么 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程.Az ...

随机推荐

  1. 看MySQL官方文档的示例SQL有感

    [背景] 周末比较闲,我这个人又没有什么爱好,当然了读书除外:前一些天我一个同事说:“你一个dba想去写一本“django”书,合适吗?” 我想也是,一个人不能忘了本,所以MySQL还是要好好的搞一搞 ...

  2. Java数据结构和算法(十):二叉树

    一.简介 二叉树是树这种数据结构的一员,后面我们还会介绍红黑树,2-3-4树等数据结构.那么为什么要使用树?它有什么优点? 前面我们介绍数组的数据结构,我们知道对于有序数组,查找很快,并介绍可以通过二 ...

  3. WPF 程序在 Windows XP 下报错:The image format is unrecognized.

    最近做的一个 WPF 程序,在 Windows 7 或以上版本的系统中,测试都很正常,在 Windows XP 下运行时一开始就报了个错误: {     "ClassName" : ...

  4. Android:使用 DownloadManager 进行版本更新,出现 No Activity found to handle Intent 及解决办法

    项目中,进行版本更新的时候,用的是自己写的下载方案,最近看到了使用系统服务 DownloadManager 进行版本更新,自己也试试. 在下载完成以后,安装更新的时候,出现了一个 crash,抓取的 ...

  5. oracle视图建主键

    一个项目要求视图建主键,以下是一个样例 CREATE or replace VIEW SME_V_A....  (AGENTID,AGENTNAME,BUSYNUM,RESTNUM,RESTTIME, ...

  6. 两种屏幕HUD区域限制的做法(矩形,弧形)

    HUD区域限制算是比较常用到的功能,方形的HUD区域限制多见于小地图,弧形或者椭圆多见于屏幕范围约束. 我没有研究倒角矩形做法,而是将椭圆和矩形进行插值得到一个弧度比较高的形状: 当插值为0时限制范围 ...

  7. R概率分布函数使用小结

    记要 今天在计算分类模型自行区间时,用到了R中正太分布的qnorm函数,这里做简单记要,作为备忘. R中自带了很多概率分布的函数,如正太分布,二次分布,卡放分布,t分布等,这些分布的函数都有一个共性, ...

  8. lua -- 点击关闭窗口中的子界面

    function UIBagController:initBoxView( ) self.panelBox = tolua.cast(UIHelper:seekWidgetByName(self.ow ...

  9. 使用 RestTemplate 调用 restful 服务

    什么是RestTemplate? RestTemplate是Spring提供的用于访问Rest服务的客户端,RestTemplate提供了多种便捷访问远程Http服务的方法,能够大大提高客户端的编写效 ...

  10. 银联在线支付B2C UnionPay.NET

    新春即将来临,首先给大家拜个早年,祝攻城狮们新年快乐.万事如意.合家欢乐.团团圆圆.幸福健康.来年更能大展宏图 实现各自的梦想! 同时预祝各大科技公司大佬们事业蒸蒸日上.公司转型突破创新.冲出突围带领 ...