一、环境及软件

安装环境:

  • 安装目录: /usr/local/ae/ankaban
  • Hadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1
  • azkaban-executor-2.5.0安装目录:/usr/local/ae/azkaban/azkaban-executor-2.5.0

安装软件:

Azkaban jobtype plugin source:github.com/azkaban/azkaban-plugins/tree/master/plugins/jobtype

二、配置jobtype

  1. 解压 azkaban-jobtype-2.5.0.tar.gz 到 $AZKABAN-EXECUTOR_HOME/plugins/jobtypes 目录下

    user@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5./plugins/jobtypes$ tar -zxvx azkaban--jobtype-2.5..tar.gz
  2. jobtype properties 配置
    common.properties
    ## everything that the user job can know
    
    hadoop.home=/usr/local/ae/hadoop-1.2.
    #hive.home=
    #pig.home= azkaban.should.proxy=false
    jobtype.global.classpath=${hadoop.home}/hadoop-core-1.2..jar,${hadoop.home}/*,${hadoop.home}/conf/,${hadoop.home}/lib/*

    commonprivate.properties

    ## hadoop security manager setting common to all hadoop jobs
    hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_1_0 ## hadoop security related settings # proxy.keytab.location=YOUR_AZKABAN_KERBEROS_PRINCIPAL
    # proxy.user=KEYTAB_LOCATION azkaban.should.proxy=false
    obtain.binary.token=false
    # obtain.namenode.token=true
    # obtain.jobtracker.token=true # global classpath items for all jobs. e.g. hadoop-core jar, hadoop conf
    #jobtype.global.classpath=${hadoop.home}/*,${hadoop.home}/conf # global jvm args for all jobs. e.g. java.io.temp.dir, java.library.path
    #jobtype.global.jvm.args= # hadoop
    hadoop.home=/usr/local/ae/hadoop-1.2.1
    #pig.home=
    #hive.home=

三、配置 jobtype 插件安装目录到 Azkaban-executor

  1. 配置 azkaban.properties
    在 azkaban.properties 文件中添加以下配置

    # Azkaban JobTypes Plugins
    azkaban.jobtype.plugin.dir=plugins/jobtypes

四、重启 Azkaban-executor

user@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5.$ sh bin/azkaban-executor-shutdown.sh
user@ae01:/usr/local/ae/azkaban/azkaban-executor-2.5.$ sh bin/azkaban-executor-start.sh

五、HadoopJava jobtype profile

type=hadoopJava
#jvm.args
job.class=×××××××××××××××××××××****
main.args=×××××××××
method.run=run
#method.cancel
classpath=./lib/*,/usr/local/ae/hadoop-1.2.1/*,/usr/local/ae/hadoop-1.2.1/lib/*,/usr/local/ae/hbase-0.94.8/*,/usr/local/ae/hbase-0.94.8/lib/*
#dependencies
#getJobGeneratedProperties

Note:1. 若 ${job.class} 继承自 AbstractHadoopJob 则需要设置 FileIutPutFormat 与 FileOutPutFormat

2. Azkaban 在启动是会生成两个日志文件azkaban-access.log/azkaban-webserver.log,他们的生成位置是在你执行脚本的目录,所以建议你最好还是在AZKABAN_HOME 目录下执行启动脚本,如果你喜欢在 ./bin 目录下启动,你需要将上文第3.1步骤的红色标记处修改目录位置为 ../${dir}

Azkaban 2.5.0 job type 插件安装的更多相关文章

  1. Elasticsearch6.0及其head插件安装

    Elasticsearch6.0及其head插件安装 1.下载并解压elasticsearch 2.修改elasticsearch.yml文件 # 集群的名字 cluster.name: my-app ...

  2. elasticsearch5.0及head插件安装

        这个瞎jb整了半天.准备把es2.4升级到5.0,结果老报错 环境:centos6.5+es2.4是ok的换成es5就出毛病.也不能说啥 ,我用的是最新的 源码解压启动时候报错,具体错误for ...

  3. ElasticSearch 5.0及head插件安装

    一.elasticsearch安装配置 1.官网下载源码包 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0 ...

  4. [elk]elasticsearch5.0及head插件安装

    ElasticSearch2.3/2.4升级到ElasticSearch5.0 参考文档(排名不分先后)https://www.elastic.co/guide/en/elasticsearch/re ...

  5. Eclipse下JRebel6.5.0热部署插件安装、破解及配置

    发现一个问题:如果安装了jRebel,但是并未对项目添加jRebel监听时,如果重写jar包中的类, 虽然重写后的类会得到编译(classes中的class已经是修改后的class),但是并不会调用重 ...

  6. hadoop2.6.0的eclipse插件安装

    1.安装插件 下载插件hadoop-eclipse-plugin-2.6.0.jar并将其放到eclips安装目录->plugins(插件)文件夹下.然后启动eclipse. 配置 hadoop ...

  7. Activiti BPMN 2.0 designer eclipse插件安装

    官方网是这样说的: https://www.activiti.org/userguide/index.html#springSpringBoot The following installation ...

  8. 【图解】Eclipse下JRebel6.2.0热部署插件安装、破解及配置【转】

    标签: 这两天在做后台管理系统,前端框架用Bootstrap,后端用SpringMVC+Velocity.在开发过程中,经常需要对界面进行微调,调整传参等,每次更改一次java代码,就得重新部署一次, ...

  9. 160614、Eclipse下JRebel6.2.0热部署插件安装、破解及配置

    标签: 这两天在做后台管理系统,前端框架用Bootstrap,后端用SpringMVC+Velocity.在开发过程中,经常需要对界面进行微调,调整传参等,每次更改一次java代码,就得重新部署一次, ...

随机推荐

  1. Android 图片闪烁(延迟切换)

    <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools=&q ...

  2. Codeforces Round #377 (Div. 2)D(二分)

    题目链接:http://codeforces.com/contest/732/problem/D 题意: 在m天中要考k个课程, 数组a中有m个元素,表示第a[i]表示第i天可以进行哪门考试,若a[i ...

  3. CentOS出错You don't have permission to access on this server

    之前配置phpmyadmin的时候,在浏览器上输入http://192.168.8.250/phpmyadmin/ 也遇到了You don't have permission to access on ...

  4. .net学习笔记---xml基础知识

    一.XML简介 XML是一种标记语言,用于描述数据,它提供一种标准化的方式来来表示文本数据.XML文档以.xml为后缀.需要彻底注意的是XML是区分大小写的. 先从一个简单的XML例子来了解下xml基 ...

  5. jQuery实现长按按钮触发事件的方法

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  6. hdu 4293 2012成都赛区网络赛 dp ****

    题意:有n个人,可任意分成若干组,然后每个人个各提供一个信息,表示他们组前面有多少人,后面有多少人.问最多有多少个信息是不冲突的. 将n个人看成一组区间,然后每个人的信息可以表示为该人所在组的区间,然 ...

  7. 初探数位DP-hdu2089

    一开始刷dp就遇到了数位dp,以前程序设计艺术上看过一点,基本没懂,于是趁今天遇到题目,想把它搞会,但就目前状态来看仍然是似懂非懂啊,以后还要反复搞 统计区间[l,r]的满足题意的数的个数,可以转换成 ...

  8. [J2EE] 在Web如何取得相关路径

    来自网络,自己整整一下: request.getRealPath("url"); // 虚拟目录映射为实际目录,不建议使用,使用ServletContext.getRealPath ...

  9. 注解:【基于外键的】Hibernate单向1->1关联

    Person与Address关联:单向1->1,[基于外键的] Person.java package org.crazyit.app.domain; import javax.persiste ...

  10. JQuery 操作对象的属性值

    通过JQuery去操作前台对象(div,span...)的属性是很常见的事情,本文就简单的介绍几种操作情形. 1):通过属性值去获取对象 2):用JQuery去修改对象的属性值 3):获取并修改对象的 ...