概括

Azkaban是一个非常轻量的开源调度框架，适合二次开发，但是无法直接用于生产环境，存在致命缺陷（比如AzkabanWebServer是单点，1年多时间没有修复），在一些情景下的行为简单粗暴（比如重启AzkabanExecutorServer会导致该server上正在运行的所有流程fail），很多时候需要人工干预，要达到生产环境的可靠性级别，至少大量二次开发，并且官方代码更新很快，合并代码有很大冲突风险，适合于一些对可靠性要求不高可以快速上手的小公司，不建议使用；

Oozie作为apache顶级项目，使用广泛，功能丰富，代码质量高，成熟可靠，代码和部署相对复杂一点，建议使用；

 

Oozie

Azkaban

版本

4.3

3.45

开发语言

Java

Java

任务配置

Xml文件（存放在hdfs）

Properties文件

Properties文件（打成Zip，上传后存放在DB）

添加任务

hdfs上传Xml文件后client通过Properties文件提交

web上传Zip

AJAX上传Zip

任务运行

Yarn

AzkabanExecutorServer执行

分配粒度

任务

工作流

失败重试

支持

支持

扩展性

好，支持服务扩展、任务扩展

好，支持插件化、任务扩展

接口

命令行

Java API

网页

AJAX API

支持任务类型

HDFS、MapReduce、Java、Shell、SSH、Pig、Hive、E-Mail、Sub-Workflow、Sqoop、Distcp

Shell、Java

其他需要插件支持

部署

相对复杂

简单

GUI

开源Hue提供GUI方式编辑流程定义

不提供GUI编辑流程定义

可靠性

可靠

通过Zookeeper实现HA

不可靠

AzkabanWebServer是单点，17年3月社区就提到该问题，但1年多过后还没有修复

https://github.com/azkaban/azkaban/issues/952

重启影响

无

重启AzkabanExecutorServer会导致该server上正在运行的所有流程fail，还可能需要刷新executors状态

代码质量

非常好

一般，并且代码中很多TODO

代码更新

慢

很快，小版本很多

任务重复运行风险

无

有

SLA

支持

支持

监控

web-services API

instrumentation log

不支持

流程状态回调

JMS

或

oozie.coord.action.notification.url

oozie.wf.workflow.notification.url

oozie.wf.action.notification.url

不支持

【原创】大数据基础之Oozie vs Azkaban的更多相关文章

  1. 【原创】大数据基础之Oozie（3）Oozie从4.3升级到5.0

    官方文档如下: http://oozie.apache.org/docs/5.0.0/AG_OozieUpgrade.html 这里写的比较简单,大概过程如下:1 下载5.0代码并编译:2 解压5.0 ...

  2. 【原创】大数据基础之Oozie（1）简介、源代码解析

    Oozie4.3 一 简介 1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop Hadoop生态的工作流调 ...

  3. 【原创】大数据基础之Oozie（2）使用

    命令行 $ oozie help 1 导出环境变量 $ export OOZIE_URL=http://oozie_server:11000/oozie 否则都需要增加 -oozie 参数,比如 $ ...

  4. 【原创】大数据基础之Oozie（4）oozie使用的spark版本升级

    oozie默认使用的spark是1.6,一直没有升级,如果想用最新的2.4,需要自己手工升级 首先看当前使用的spark版本的jar # oozie admin -oozie http://$oozi ...

  5. 【原创】大数据基础之Zookeeper（2）源代码解析

    核心枚举 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING; } zookeeper服务器状态:刚启动LOOKING,f ...

  6. 【原创】大数据基础之词频统计Word Count

    对文件进行词频统计,是一个大数据领域的hello word级别的应用,来看下实现有多简单: 1 Linux单机处理 egrep -o "\b[[:alpha:]]+\b" test ...

  7. 【原创】大数据基础之Impala（1）简介、安装、使用

    impala2.12 官方:http://impala.apache.org/ 一 简介 Apache Impala is the open source, native analytic datab ...

  8. 【原创】大数据基础之Benchmark（2）TPC-DS

    tpc 官方:http://www.tpc.org/ 一 简介 The TPC is a non-profit corporation founded to define transaction pr ...

  9. 大数据调度工具oozie详细介绍

    背景 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行,这样实现的话比较简单,但是随着多个job复杂度的提升,无论是协调工作还是任务监控都变得麻烦,我们选 ...

随机推荐

  1. mapreduce map 的个数

    在map阶段读取数据前,FileInputFormat会将输入文件分割成split.split的个数决定了map的个数.影响map个数(split个数)的主要因素有: 1) 文件的大小.当块(dfs. ...

  2. Kubernetes — 深入理解容器镜像

    而正如我前面所说的,Namespace 的作用是“隔离”,它让应用进程只能看到该 Namespace 内的“世界”:而 Cgroups 的作用是“限制”,它给这个“世界”围上了一圈看不见的墙.这么一折 ...

  3. javascript生成指定范围的随机整数

    JavaScript有提供一个生成值区间在(0, 1)的随机小数的函数. Math.random(); // 0.10529863457509858 如果你和喜欢的人一起执行这个函数,之后生成的随机小 ...

  4. Python——pickle模块（永久存储）

    一.作用 讲字典.列表.字符串等对象进行持久化,存储到磁盘上,方便以后使用. 二.dump()方法 pickle.dump(对象,文件,[使用协议]) 作用:将要持久化的数据“对象”,保存到“文件中” ...

  5. DRF之频率限制、分页、解析器和渲染器

    一.频率限制 1.频率限制是做什么的 开放平台的API接口调用需要限制其频率,以节约服务器资源和避免恶意的频繁调用. 2.频率组件原理 DRF中的频率控制基本原理是基于访问次数和时间的,当然我们可以通 ...

  6. Hive 执行作业时报错 [ Diagnostics: File file:/ *** reduce.xml does not exist FileNotFoundException: File file:/ ]

    2019-03-10 本篇文章旨在阐述本人在某一特定情况下遇到 Hive 执行 MapReduce 作业的问题的探索过程与解决方案.不对文章的完全.绝对正确性负责. 解决方案 Hive 的配置文件  ...

  7. 4.6 并发编程/IO模型

    并发编程/IO模型 背景概念 IO模型概念 IO模型分类 阻塞IO  (blocking IO) 特点: 两个阶段(等待数据和拷贝数据两个阶段)都被block 设置 server.setsockopt ...

  8. day08读取文件

    可参考;https://www.cnblogs.com/gengcx/p/6713646.html主要内容: 1.只读 2.只写 3.追加 4.r+读写 5.w+写读 6.a+写读 7.其他一.使用p ...

  9. P1742 最小圆覆盖（计算几何）

    体验过\(O(n^3)\)过\(10^5\)吗?快来体验一波当\(wys\)的快感吧\(QAQ\) 前置芝士1:二元一次方程组求解 设 \[\begin{cases}a1 * x + b1*y=c1\ ...

  10. yii2 redirect重定向

    redirect使用方法 $this->redirect(array('/site/contact','id'=>12)); //http://www.kuitao8.com/testwe ...