Azkaban使用安装文档

Azkaban简介

Azkaban的是什么

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

Azkaban 的优点

  • 提供功能清晰,简单易用的Web UI界面
  • 提供job配置文件快速建立任务和任务之间的依赖关系
  • 提供模块化和可插拔的插件机制,原生支持command、Java、Hive、Pig、Hadoop
  • 基于Java开发,代码结构清晰,易于二次开发

Azkaban的安装

Azkaban的安装模式

Azkaban有三种部署方式:solo server mode , cluster server mode,multiple-execoutor

  • solo server mode(单机模式):该模式中webServer和executorServer运行在同一个进程中,进程名是AzkabanSingleServer。可以使用自带的H2数据库或者配置mysql数据。该模式适用于小规模的使用。
  • cluster server mode(集群模式):该模式使用MySQL数据库,webServer和executorServer运行在不同进程中,该模式适用于大规模应用。

3.0以后出现

  • multiple-executor模式:exec进程和web进程在不同的机器上,存放元数据的数据库为mysql

安装mysql

本地安装

解压mysql

Tar -vxf mysql*

安装mysql

MySQL-5.6.21-1.el7.x86_64.rpm-bundle.tar

MySQL-client-5.6.21-1.el7.x86_64.rpm

MySQL-devel-5.6.21-1.el7.x86_64.rpm

MySQL-embedded-5.6.21-1.el7.x86_64.rpm

MySQL-server-5.6.21-1.el7.x86_64.rpm

MySQL-shared-5.6.21-1.el7.x86_64.rpm

MySQL-shared-compat-5.6.21-1.el7.x86_64.rpm

MySQL-test-5.6.21-1.el7.x86_64.rpm

可能会报错

删除包冲突即可

yum -y remove mariadb-libs-*

在线安装

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum install mysql-community-server

安装完成后

systemctl start mysqld.service

设置mysql账号并创建azkaban数据库

mysql -uroot

mysql> set password for 'root'@'localhost' = password('123456');

mysql> CREATE DATABASE azkaban;

mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';

mysql> GRANT ALL ON azkaban.* to 'azkaban'@'%' IDENTIFIED BY 'azkaban';

mysql> flush privileges;

安装jdk

Jdk版本必须为1.8以上版本,低版本报错

上传jdk-8u141-linux-x64.tar.gz 并解压

tar –xvzf jdk-*;

配置jdk环境

export JAVA_HOME=/jdk

export JRE_HOME=/jdk/jre

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JRE_HOME/lib

Azkaban安装

本测试在linux(Centos7.2)版本 使用azkaban-3.38进行安装测试

.编译,安装过程

1.  git clone https://github.com/azkaban/azkaban.git

源码,当前为3.38版本(注:需要安装git服务  yum –y install git)

  1. 进入azkaban 项目进行编译 ./gradlew distTar(注:使用gradle进行安装,若没有gradle会自行安装)

编译结果为

azkaban-common : 常用工具类。

azkaban-db : 对应的sql脚本

azkaban-hadoop-secutity-plugin : hadoop 有关kerberos插件

azkaban-solo-server: web和executor 一起的项目。

azkaban-web/executor-server:azkaban的 web和executor的server信息

azkaban-spi: azkaban存储接口以及exception类

创建azkaban-3.38

Mkdir azkaban-3.38

分别将

ls

cd azkaban-web-server/build/distributions/

ls

cp azkaban-web-server-3.38.0-2-gbd9e6e4.tar.gz /azkaban-3.38/

cd ../../../

ls

cd azkaban-exec-server/build/distributions/

ls

cp azkaban-exec-server-3.38.0-2-gbd9e6e4.tar.gz /azkaban-3.38/

cd ../../../

ls

cd azkaban-db/build/distributions/

ls

cp azkaban-db-3.38.0-2-gbd9e6e4.tar.gz /azkaban-3.38/

解压缩后并重新命名

tar -xvzf azkaban-db-3.38.0-2-gbd9e6e4.tar.gz

tar -xvzf azkaban-exec-server-3.38.0-2-gbd9e6e4.tar.gz

tar -xvzf azkaban-web-server-3.38.0-2-gbd9e6e4.tar.gz

删除tar压缩包

rm -fr *.tar.*

重新命名

mv azkaban-db-3.38.0-2-gbd9e6e4 azkaban-db-3.38.0-2

mv azkaban-exec-server-3.38.0-2-gbd9e6e4 azkaban-exec-server-3.38.0-2

mv azkaban-web-server-3.38.0-2-gbd9e6e4 azkaban-web-server-3.38.0-2

将 azkaban下的

cd azkaban-solo-server/build/distributions/

解压

tar -xvzf azkaban-solo-server-3.38.0-2-gbd9e6e4.tar.gz

然后复制 conf 及plugins 文件到azkaban-3.38下的exec及web下

cp -r  conf  /azkaban-3.38/azkaban-exec-server-3.38.0-2/

cp -r  conf  /azkaban-3.38/azkaban-web-server-3.38.0-2/

cp -r  plugins /azkaban-3.38/azkaban-web-server-3.38.0-2/

cp -r  plugins  /azkaban-3.38/azkaban-exec-server-3.38.0-2/

导入azkaban sql

打开mysql使用azkaban数据库

use azkaban

source  /azkaban-3.38/azkaban-db-3.38.0-2/create-all-sql-3.38.0-2-gbd9e6e4.sql
source  /azkaban-3.38/azkaban-db-3.38.0-2/create.active_executing_flows.sql
source  /azkaban-3.38/azkaban-db-3.38.0-2/create.execution_flows.sql

配置keystore

在azkaban-web=*/conf下

keytool -keystore keystore -alias jetty -genkey -keyalg RSA
输入密钥库口令:  
密钥库口令太短 - 至少必须为 6 个字符
输入密钥库口令:  
再次输入新口令: 
您的名字与姓氏是什么?
[Unknown]:  
您的组织单位名称是什么?
[Unknown]:  
您的组织名称是什么?
[Unknown]:  
您所在的城市或区域名称是什么?
[Unknown]:  
您所在的省/市/自治区名称是什么?
[Unknown]:  
该单位的双字母国家/地区代码是什么?
[Unknown]: CN
CN=, OU=, O=, L=, ST=, C=CN是否正确?[否]:  Y

.配置 conf/azkaban.properties

修改是数据库配置

database.type=mysql

mysql.port=3306

mysql.host=192.168.3.247

mysql.database=azkaban

mysql.user=azkaban

mysql.password=azkaban

mysql.numconnections=100

添加mysql驱动

在/azkaban-3.38/azkaban-exec-server-3.38.0-2下新建文件夹

mkdir extlib

将lib下的mysql链接驱动复制到extlib下

同时需要修改ban-3.38/azkaban-web-server-3.38.0-2

下的azkaban.properties和建立extlib文件将mysql驱动拷入

添加log4j.properties文件

在/conf下新建log4j.properties文件

log4j.rootLogger=INFO,C

log4j.appender.C=org.apache.log4j.ConsoleAppender

log4j.appender.C.Target=System.err

log4j.appender.C.layout=org.apache.log4j.PatternLayout

log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd
HH:mm:ss} %-5p %c{1}:%L - %m%n

拷入同样执行器exec文件下的/conf也需要新建

启动

注意先启动执行器然后启动web服务器,需要在bin级目录执行,否则汇报找不到配置文件的错误

cd azkaban-exec-server-3.38.0-2

bin/azkaban-executor-start.sh

cd
azkaban-web-server-3.38.0-2

bin/azkaban-web-start.sh

~

~

附录

问题一:

若报错ntive.lib找不到修改文件

vi /azkaban/azkaban-common/src/main/java/azkaban/jobExecutor/ProcessJob.java

将true改为false,重新启动集群

问题二:

若mysql数据库链接不上请检查mysql数据库下azkaban数据库是否可以访问,

若无法远程访问请使用root用户登录到mysql数据库

mysql> CREATE USER 'azkaban'@'%'
IDENTIFIED BY 'azkaban';

mysql> GRANT ALL ON azkaban.* to
'azkaban'@'%' IDENTIFIED BY 'azkaban';

Azkaban使用安装文档的更多相关文章

  1. ORACLE LINUX 6.3 + ORACLE 11.2.0.3 RAC + VBOX安装文档

    ORACLE LINUX 6.3 + ORACLE 11.2.0.3 RAC + VBOX安装文档 2015-10-21 12:51 525人阅读 评论(0) 收藏 举报  分类: Oracle RA ...

  2. Oracle 11g 单实例安装文档

    这里介绍在Red Hat Enterprise Linux Server release 5.7 (Tikanga)下安装ORACLE 11.2.0.1.0的过程,本文仅仅是为了写这样安装指导文档而整 ...

  3. linkedin开源的kafka-monitor安装文档

    linkedin开源的kafka-monitor安装文档 linkedin 开源的kafka-monitor的安装使用可以参考官方的readme:流程介绍的已经比较清楚,但是还是有一些地方需要修正.让 ...

  4. _00024 尼娜抹微笑伊拉克_云计算ClouderaManager以及CHD5.1.0群集部署安装文档V1.0

    笔者博文:妳那伊抹微笑 itdog8 地址链接 : http://www.itdog8.com(个人链接) 博客地址:http://blog.csdn.net/u012185296 博文标题:_000 ...

  5. oracle database 12c R1 安装文档

    INSTALLORACLE DATABASE 12C 完整的安装文档下载地址: http://download.csdn.net/detail/royjj/5665869 OS:ORALCE LINU ...

  6. HAProxy安装文档

    HAProxy安装文档 [toc][TOC] 一.环境说明 系统环境:CentOS Linux release 7.2.1511 (Core) 系统内核:3.10.0-327.el7.x86_64 软 ...

  7. Oracle 12c RAC 静默安装文档

    参考文档: https://docs.oracle.com/en/database/oracle/oracle-database/12.2/cwlin/index.html https://docs. ...

  8. Oracle 12c RAC 安装文档

    参考文档: https://docs.oracle.com/en/database/oracle/oracle-database/12.2/cwlin/index.html https://docs. ...

  9. Linux rhel7 下MySQL5.7.18详细安装文档

    Linux rhel7 下MySQL5.7.18详细安装文档 本文安装MySQL5.7使用的是vm虚拟机rhel7操作系统 ,ftp文件传输是FileZilla3.27,远程连接xssh5.0 1 登 ...

随机推荐

  1. POJ3259 Wormholes

    Description While exploring his many farms, Farmer John has discovered a number of amazing wormholes ...

  2. Java 学习 UUID 与 时间格式化、时间操作

    UUID : UUID 是 通用唯一识别码(Universally Unique Identifier)的缩写,是一种软件建构的标准,亦为开放软件基金会组织在分布式计算环境领域的一部分.其目的,是让分 ...

  3. android 开发 View _12_ 用Canvas 绘制一张图片(博客中演示用Canvas画验证码图片)

    package net.yt.yuncare.widgets; import android.graphics.Bitmap; import android.graphics.Canvas; impo ...

  4. java反编译工具cfr

    http://www.benf.org/other/cfr/ 下载反编译工具 @echo off SET home=%cd% rem 指定存放jar包的目录 SET jar_dir=%home%\ja ...

  5. Creating adaptive web recommendation system based on user behavior(设计基于用户行为数据的适应性网络推荐系统)

    文章介绍了一个基于用户行为数据的推荐系统的实现步骤和方法.系统的核心是专家系统,它会根据一定的策略计算所有物品的相关度,并且将相关度最高的物品序列推送给用户.计算相关度的策略分为两部分,第一部分是针对 ...

  6. 李清华201772020113《面向对象程序设计(java)》第二周学习总结

    李清华201772020113<面向对象程序设计(java)>第二周学习总结 第一部分 理论知识 第三章 本章主要讲了java基本知识中的标识符,关键字,注释,以及数据类型,变量,运算符, ...

  7. hadoop分布式集群搭建(2.9.1)

    1.环境 操作系统:ubuntu16 jdk:1.8 hadoop:2.9.1 机器:3台,master:192.168.199.88,node1:192.168.199.89,node2:192.1 ...

  8. dto vo

    不过符合规矩的做法是DTO里可以放各种List<VO>,而VO和entity就是一一对应的关系,vo里不能放entity,entity里也不能放vo,vo和entity只存放和数据库完全相 ...

  9. js程序的调试方法

  10. HashMap负载因子为什么是0.75

    待写 HashMap负载因子为什么是0.75?HashMap有一个初始容量大小,默认是16static final int DEAFULT_INITIAL_CAPACITY = 1 << ...