最近项目迁移到新集群,试试同事推荐的开源任务调度程序-azkaban(阿兹卡班),没看错,就是哈利波特里的阿兹卡班,azikaban主要用来解决hadoop依赖任务的执行,但是它本身支持linux和java程序,因此适合做小项目的任务调度管理程序。
Azkaban官网

它有三个重要组件:

  1. 关系数据库(目前仅支持mysql)
  2. web管理服务器-AzkabanWebServer
  3. 执行服务器-AzkabanExecutorServer

    组件

一、开始

Azkaban有三种运行模式:

  • solo server mode:最简单的模式,数据库内置的H2数据库,管理服务器和执行服务器都在一个进程中运行,任务量不大项目可以采用此模式。
  • two server mode:数据库为mysql,管理服务器和执行服务器在不同进程,这种模式下,管理服务器和执行服务器互不影响
  • multiple executor mode:该模式下,执行服务器和管理服务器在不同主机上,且执行服务器可以有多个。

我们项目要求不是太高,我这次采用第二种模式,管理服务器、执行服务器分进程,但在同一台主机上。

二、安装

azkaban和官方说的一样,简单易用,先到官网下载相关包并解压,我下载的是:

  • azkaban-executor-server-2.5.0.tar.gz(执行服务器)
  • azkaban-web-server-2.5.0.tar.gz(管理服务器)
  • azkaban-sql-script-2.5.0.tar.gz(mysql脚本)
  1. 数据库安装配置

  • 数据库创建
    <pre>#不一定非要命名为'azkaban'
    mysql>CREATE DATABASE azkaban;
    </pre>
    <pre>#创建用户和密码
    mysql>CREATE USER 'username'@'%' IDENTIFIED BY 'password';
    </pre>
    <pre>#给用户相关权限
    mysql>GRANT SELECT,INSERT,UPDATE,DELETE ON <database>.* to '<username>'@'%' WITH GRANT OPTION;
    </pre>
  • 数据库配置
    编辑<code>/etc/my.cnf</code>
    <pre>[mysqld]
    max_allowed_packet=1024M
    </pre>
  • 重启服务器
  • 执行脚本
    执行下载包azkaban-sql-script-2.5.0.tar.gz中脚本“create-all-sql”
  • 检查下载包web和executor的lib文件下是否有mysql驱动,若不存在,则拷贝一个
  1. web管理服务器(azkaban-web-2.5.0)

    有几个重要目录和配置文件

文件夹 解释
bin 用来存放启动和停止脚本
conf 配置文件,最重要的配置azkaban.properties
lib jar文件,查看是否存在mysql驱动
extlib 扩展lib
plugins 扩展插件,有hdfs、hive、pig等
web web目录

配置conf中azkaban.properties,其他默认即可

#设置项目名称
azkaban.name=BigData
#设置项目副标题
azkaban.label=besttone
#一定要设置为上海,否则按美国时间执行
default.timezone.id=Asia/Shanghai

database.type=mysql
mysql.port=3306
mysql.host=localhost
#改为自己的数据库名称
mysql.database=azkaban
#改为自己的数据库账号
mysql.user=azkaban
#改为自己的数据库密码
mysql.password=azkaban_abc

mail.sender=email账号
mail.host=email服务器
mail.user=email账号
mail.password=email密码

#Azkaban Jetty 服务设置,先安装此配置,后面再详细介绍生产方法.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=web/keystore
jetty.password=besttone
jetty.keypassword=besttone
jetty.truststore=web/truststore
jetty.trustpassword=besttone

jetty ssl配置

  • jetty ssl keystore生成

keytool -genkey -keystore keystore -alias jetty-azkaban -keyalg RSA -validity 3560

  • 根据提示输入相关信息,我的密码为besttone,和上面的password对应

keytool -export -alias jetty-azkaban -keystore keystore -rfc -file selfsignedcert.cer

  • 过程中如果要输入密码,请输入之前密码

keytool -import -alias certificatekey -file selfsignedcert.cer -keystore truststore

  • 这时候在web目录下新建key目录,将生成的keystore,truststore拷贝进去

执行启动命令

./bin/azkaban-web-start.sh

也可以执行nohup,后台运行

nohup ./bin/azkaban-web-start.sh &

关闭命令

./bin/azkaban-web-shutdown.sh

访问https://localhost:8443
输入账号和密码,都是azkaban,如果要更改,请修改conf/azkaban-users.xml文件

至此已经可以看到web管理界面了,下面执行需要启动执行服务器。
ps:如果本地可以执行,远程无法执行,看是否远程服务器禁用8443端口,将8443改为8888即可。

3.执行服务器

修改conf/azkaban.properties文件,其他默认

default.timezone.id=Asia/Shanghai
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban_abc

执行脚本,启动执行服务器

./bin/azkaban-executor-start.sh

也可以执行nohup,后台运行

nohup ./bin/azkaban-executor-start.sh &

关闭命令

./bin/azkaban-executor-shutdown.sh

4.安装扩展控件

azkaban有很多插件,hdfs、hive、pig等,如有兴趣自行安装,本次项目未用到

自此,安装已完成,使用篇待续……

原文链接:https://www.jianshu.com/p/cc680380ca34

Azkaban-开源任务调度程序(安装篇)的更多相关文章

  1. 开源文档管理系统LogicalDOC测试报告---安装篇

    开源文档管理系统LogicalDOC测试报告---安装篇 分类: Linux2011-06-22 15:40 7436人阅读 评论(3) 收藏 举报 文档管理测试mysql数据库installerja ...

  2. 直接拿来用!最火的Android开源项目(完结篇)

    直接拿来用!最火的Android开源项目(完结篇) 2014-01-06 19:59 4785人阅读 评论(1) 收藏 举报 分类: android 高手进阶教程(100) 摘要:截至目前,在GitH ...

  3. Azkaban2.5安装部署(系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web server插件安装 + Azkaban Executor Server 插件安装)(博主推荐)(五)

    Azkaban是什么?(一) Azkaban的功能特点(二) Azkaban的架构(三) Hadoop工作流引擎之Azkaban与Oozie对比(四) 不多说,直接上干货! http://www.cn ...

  4. 第2节 azkaban调度:16、azkaban的介绍以及azkaban的soloserver的安装使用

    2. 工作流调度器azkaban 2.1 概述 azkaban官网: https://azkaban.github.io/ 2.1.1为什么需要工作流调度系统 l  一个完整的数据分析系统通常都是由大 ...

  5. WordPress安装篇(4):YUM方式安装LNMP并部署WordPress

    YUM方式安装软件的优点就是简单.方便.快捷,本文介绍在Linux上如何使用YUM方式快速安装LNMP并部署WordPress.使用Linux CentOS 7.9 + Nginx 1.18 + My ...

  6. linkedin开源的kafka-monitor安装文档

    linkedin开源的kafka-monitor安装文档 linkedin 开源的kafka-monitor的安装使用可以参考官方的readme:流程介绍的已经比较清楚,但是还是有一些地方需要修正.让 ...

  7. k8s入门系列之扩展组件(一)DNS安装篇

    DNS (domain name system),提供域名解析服务,解决了难于记忆的IP地址问题,以更人性可读可记忆可标识的方式映射对应IP地址. Cluster DNS扩展插件用于支持k8s集群系统 ...

  8. 高手速成android开源项目【导航篇】

    Android开发又将带来新一轮热潮,很多开发者都投入到这个浪潮中去了,创造了许许多多相当优秀的应用.其中也有许许多多的开发者提供了应用开源项目,贡献出他们的智慧和创造力.学习开源代码是掌握技术的一个 ...

  9. Linux负载均衡软件LVS之二(安装篇)[转]

    Linux负载均衡软件LVS之二(安装篇) 2011-04-26 16:01:47 标签:lvs安装配置 linux lvs 休闲 linux高可用 原创作品,允许转载,转载时请务必以超链接形式标明文 ...

随机推荐

  1. Xcode - LLDB调试技巧

    LLDB是Xcode默认的调试器,它与LLVM编译器一起,带给我们更丰富的流程控制和数据检测的调试功能.平时用Xcode运行程序,实际走的都是LLDB.熟练使用LLDB,可以让你debug事半功倍. ...

  2. CentOS7.5安装Tomcat8

    一.tomcat的简介 这是Apache Tomcat Servlet / JSP容器的文档包的顶级入口点 .的Apache Tomcat 8.0版实现了Servlet 3.1和JavaServer ...

  3. Java语言快速实现简单MQ消息队列服务

    目录 MQ基础回顾 主要角色 自定义协议 流程顺序 项目构建流程 具体使用流程 代码演示 消息处理中心 Broker 消息处理中心服务 BrokerServer 客户端 MqClient 测试MQ 小 ...

  4. Linux--netstat命令

    netstat:显示网络状态 语法定义:netstat [-acCeFghilMnNoprstuvVwx] [-A<网络类型>][--ip] 参数说明: -a 或 -all :显示所有连线 ...

  5. php安装redis扩展'checking for igbinary includes... configure: error: Cannot find igbinary.h'解决方法

    今天准备给yii2安装redis扩展,先安装了redis服务,然后安装redis php官方扩展,在make的时候提示' checking for igbinary includes... confi ...

  6. postgresql+postgis+pgrouting安装步骤图解

    1.在此(https://www.bigsql.org/postgresql/installers.jsp/)下载postgresql(开源数据库,gis行业推荐使用); 2.在此(http://wi ...

  7. A Bug's Life-----poj2492(关系并查集)

    题目链接:http://poj.org/problem?id=2492 题意是问是否存在同性恋, 就是a喜欢b,b喜欢c,a又喜欢c,所以就有同性恋了: #include<stdio.h> ...

  8. CF750F New Year and Finding Roots 构造+树论

    正解:构造 解题报告: 传送门! 交互题交互题!哇好新鲜啊QwQ 首先考虑最傻逼的做法,应该是每个人都能想到的 首先看一下它给的条件,考虑到完全二叉树的性质,就可以发现,如果给的邻居只有一个,说明是叶 ...

  9. mysql 内置功能 视图介绍

    之前的多表查询本质是把多张有关系的表连接在一起组成一张虚拟表,从而进行查询 视图 视图是一个虚拟表(非真实存在),其本质是[根据SQL语句获取动态的数据集,并为其命名], 用户使用时只需使用[名称]即 ...

  10. OC导航栏自定义返回按钮

    [iOS]让我们一次性解决导航栏的所有问题 在默认情况下,导航栏返回按钮长这个样子   导航栏默认返回按钮 导航栏左上角的返回按钮,其文本默认为上一个ViewController的标题,如果上一个Vi ...