Azkaban概述

  • 工作流调度系统的作用

    一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序java程序mapreduce程序hive脚本等。

    各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划,这时就需要一个工作流调度系统来调度执行

    举例来说:

    某个业务系统每天产生20G原始数据,需要每天都要对其进行处理,处理步骤如下所示:

    1.通过Hadoop先将原始数据同步到HDFS上;

    2.借助MapReduce计算框架对原始数据进行转换,生成的数据以分区表的形式存储到多张Hive表中;

    3.需要对Hive中多个表的数据进行JOIN处理,得到一个明细数据Hive大表;

    4.将明细数据进行各种统计分析,得到结果报表信息;

    5.需要将统计分析得到的结果数据同步到业务系统中,供业务调用使用。

  • 工作流调度系统的实现

    简单的任务调度可以直接使用linux的crontab实现

    复杂的任务调度则需要开源调度系统,比如oozieazkabanairflow

  • 常见工作流调度工具对比

  • Azkaban简单介绍

    详细介绍参考官网:https://azkaban.github.io/

    Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。它定义了一种KV文件(properties)格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

    功能特点:

    Web用户界面

    方便上传工作流

    方便设置任务之间的关系

    调度工作流

    认证/授权(权限的工作)

    能够杀死并重新启动工作流

    模块化和可插拔的插件机制

    项目工作区

    工作流和任务的日志记录和审计


安装部署

  • Azkaban的编译

    注意:编译要新建一个虚拟机进行编译,jdk版本要用1.8

    编译执行命名:

    cd /export/softwares/

    wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz

    tar -zxvf 3.51.0.tar.gz -C ../servers/



    cd /export/servers/azkaban-3.51.0/

    yum -y install git

    yum -y install gcc-c++

    ./gradlew build installDist -x test

    编译完成后需要在/export/servers/azkaban-3.51.0/azkaban-exec-server/build/distributions拿到需要的三个安装包:

    azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

    azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz

    azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

    /export/servers/azkaban-3.51.0/az-exec-util/src/main/c下拿到需要的C文件:

    execute-as-user.c

    /export/servers/azkaban-3.51.0/azkaban-db/build/install/azkaban-db下拿到需要的数据库脚本:

    create-all-sql-0.1.0-SNAPSHOT.sql

  • azkaban单服务模式安装与使用

    1.解压安装包

    cd /export/softwares/ 把azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz安装包上传到该目录

    tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ../servers 解压安装包

    2.修改两个配置文件

    cd /export/servers/azkaban-solo-server-0.1.0-SNAPSHOT/conf

    vim azkaban.properties

    default.timezone.id=Asia/Shanghai 只需要把时区修改得和linux的时区相同



    cd /export/servers/azkaban-solo-server-0.1.0-SNAPSHOT/plugins/jobtypes

    vim commonprivate.properties

    # set exeute-as-user
    execute.as.user=false
    memCheck.enabled=false // 添加这一行,防止内存检查

    3.启动solo-server

    cd /export/servers/azkaban-solo-server-0.1.0-SNAPSHOT

    bin/start-solo.sh



    4.浏览器页面访问

    访问地址:http://192.168.0.30:8081/

    登录界面,登录用户名和密码都是azkaban



    创建项目



    在本地创建普通文本文件foo.job,并打包成压缩文件

    注意:编码格式一定要选择UTF-8 without BOM,或者在文件开头添加# command.job

    # command.job
    type=command
    command=echo "hello world"



  • azkaban两个服务模式安装与使用

    1.数据库准备

    mysql -uroot -p 进入mysql

    执行以下命令:

    CREATE DATABASE azkaban; 创建azkaban数据库

    CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban'; 创建azkaban用户

    GRANT all privileges ON azkaban.* to 'azkaban'@'%' identified by 'azkaban' WITH GRANT OPTION; 授予远程权限

    flush privileges; 刷新权限

    use azkaban;

    source /export/softwares/create-all-sql-0.1.0-SNAPSHOT.sql;



    2.把需要的安装包上传到/export/softwares/,并解压

    cd /export/softwares/

    tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ../servers/

    mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server-3.51.0

    tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ../servers/

    mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server-3.51.0



    3.安装SSL安全认证

    安装ssl安全认证,允许我们使用https的方式访问我们的azkaban的web服务

    cd /export/servers/azkaban-web-server-3.51.0

    keytool -keystore keystore -alias jetty -genkey -keyalg RSA

    密码一直输入azkaban



    4.azkaban web server安装

    修改azkaban-web-server的配置文件

    cd /export/servers/azkaban-web-server-3.51.0/conf

    vim azkaban.properties

    # Azkaban Personalization Settings
    azkaban.name=Azkaban
    azkaban.label=My Azkaban
    azkaban.color=#FF3601
    azkaban.default.servlet.path=/index
    web.resource.dir=web/
    default.timezone.id=Asia/Shanghai
    # Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager
    user.manager.xml.file=conf/azkaban-users.xml
    # Loader for projects
    executor.global.properties=conf/global.properties
    azkaban.project.dir=projects
    # Velocity dev mode
    velocity.dev.mode=false
    # Azkaban Jetty server properties.
    jetty.use.ssl=true
    jetty.maxThreads=25
    jetty.port=8081 jetty.ssl.port=8443
    jetty.keystore=/export/servers/azkaban-web-server-3.51.0/keystore
    jetty.password=azkaban
    jetty.keypassword=azkaban
    jetty.truststore=/export/servers/azkaban-web-server-3.51.0/keystore
    jetty.trustpassword=azkaban # Azkaban Executor settings
    # mail settings
    mail.sender=
    mail.host=
    # User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
    # enduser -> myazkabanhost:443 -> proxy -> localhost:8081
    # when this parameters set then these parameters are used to generate email links.
    # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
    # azkaban.webserver.external_hostname=myazkabanhost.com
    # azkaban.webserver.external_ssl_port=443
    # azkaban.webserver.external_port=8081
    job.failure.email=
    job.success.email=
    lockdown.create.projects=false
    cache.directory=cache
    # JMX stats
    jetty.connector.stats=true
    executor.connector.stats=true
    # Azkaban mysql settings by default. Users should configure their own username and password.
    database.type=mysql
    mysql.port=3306
    mysql.host=node03
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.numconnections=100
    #Multiple Executor
    azkaban.use.multiple.executors=true
    #azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
    azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
    azkaban.executorselector.comparator.Memory=1
    azkaban.executorselector.comparator.LastDispatched=1
    azkaban.executorselector.comparator.CpuUsage=1 azkaban.activeexecutor.refresh.milisecinterval=10000
    azkaban.queueprocessing.enabled=true
    azkaban.activeexecutor.refresh.flowinterval=10
    azkaban.executorinfo.refresh.maxThreads=10

    5.azkaban executor server安装

    修改azkaban-exex-server配置文件

    cd /export/servers/azkaban-exec-server-3.51.0/conf

    vim azkaban.properties

    # Azkaban Personalization Settings
    azkaban.name=Azkaban
    azkaban.label=My Azkaban
    azkaban.color=#FF3601
    azkaban.default.servlet.path=/index
    web.resource.dir=web/
    default.timezone.id=Asia/Shanghai
    # Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager
    user.manager.xml.file=conf/azkaban-users.xml
    # Loader for projects
    executor.global.properties=conf/global.properties
    azkaban.project.dir=projects
    # Velocity dev mode
    velocity.dev.mode=false
    # Azkaban Jetty server properties.
    jetty.use.ssl=true
    jetty.maxThreads=25
    jetty.port=8081
    jetty.keystore=/export/servers/azkaban-web-server-3.51.0/keystore
    jetty.password=azkaban
    jetty.keypassword=azkaban
    jetty.truststore=/export/servers/azkaban-web-server-3.51.0/keystore
    jetty.trustpassword=azkaban
    # Where the Azkaban web server is located
    azkaban.webserver.url=http://node03:8443
    # mail settings
    mail.sender=
    mail.host=
    # User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
    # enduser -> myazkabanhost:443 -> proxy -> localhost:8081
    # when this parameters set then these parameters are used to generate email links.
    # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
    # azkaban.webserver.external_hostname=myazkabanhost.com
    # azkaban.webserver.external_ssl_port=443
    # azkaban.webserver.external_port=8081
    job.failure.email=
    job.success.email=
    lockdown.create.projects=false
    cache.directory=cache
    # JMX stats
    jetty.connector.stats=true
    executor.connector.stats=true
    # Azkaban plugin settings
    azkaban.jobtype.plugin.dir=plugins/jobtypes
    # Azkaban mysql settings by default. Users should configure their own username and password.
    database.type=mysql
    mysql.port=3306
    mysql.host=node03
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.numconnections=100
    # Azkaban Executor settings
    executor.maxThreads=50
    executor.flow.threads=30

    添加插件

    cp /export/softwares/execute-as-user.c /export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes/ 把上传的c文件拷贝到指定目录下

    yum -y install gcc-c++ 如果提示gcc command not found,那么就在线安装gcc+c++即可

    执行以下命令生成execute-as-user

    cd /export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes

    gcc execute-as-user.c -o execute-as-user

    chown root execute-as-user

    chmod 6050 execute-as-user

    修改配置文件

    cd /export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes

    vim commonprivate.properties

    execute.as.user=false
    memCheck.enabled=false
    azkaban.native.lib=/export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes

    出现这个



    6.启动服务

    cd /export/servers/azkaban-exec-server-3.51.0

    bin/start-exec.sh 启动exec server



    curl -G "node03:$(<./executor.port)/executor?action=activate" && echo 激活exec server



    cd /export/servers/azkaban-web-server-3.51.0/

    bin/start-web.sh 启动web server


使用

  • 多job工作流flow

    第一个job文本文件没什么特殊的

    # command.job
    type=command
    command=echo 'hello world'

    第二个job文本文件最后一行添加依赖即可

    # command.job
    type=command
    command=echo 'bar job'
    dependencies=foo //第一个job文件的名字

    之后需要将两个文件打包到一个压缩包中上传即可

  • HDFS操作任务

    HDFS的job文件这么写

    # command.job
    type=command
    command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azkaban
  • MAPREDUCE任务

    需要把jar包和job文件一起打包压缩

    #command.job
    type=command
    command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5
  • HIVE脚本任务

    需要先写一个sql文件

    create database if not exists azhive;
    use azhive;
    create table if not exists aztest(id string,name string) row format delimited fields terminated by '\t';

    然后再写Job文件,并把两个文件打包到一起

    # command.job
    type=command
    command=/export/servers/hive-1.1.0-cdh5.14.0/bin/hive -f 'hive.sql'
    • 定时任务



【Hadoop离线基础总结】工作流调度器azkaban的更多相关文章

  1. 工作流调度器azkaban(以及各种工作流调度器比对)

    1:工作流调度系统的作用: (1):一个完整的数据分析系统通常都是由大量任务单元组成:比如,shell脚本程序,java程序,mapreduce程序.hive脚本等:(2):各任务单元之间存在时间先后 ...

  2. 工作流调度器azkaban

    为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很 ...

  3. azkaban工作流调度器及相关工具对比

    本文转载自:工作流调度器azkaban,主要用于架构选型,安装请参考:Azkaban安装与简介,azkaban的简单使用 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: ...

  4. Azkaban工作流调度器

    Azkaban工作流调度器 在Hadoop领域常用的工作流调度系统 Oozie,Azkaban,Cascading,Hamake等等. 性能对比: 安装: 创建ssl配置 keytool -keyst ...

  5. Azkaban 工作流调度器

    Azkaban 工作流调度器 1 概述 1.1 为什么需要工作流调度系统 a)一个完整的数据分析系统通常都是由大量任务单元组成,shell脚本程序,java程序,mapreduce程序.hive脚本等 ...

  6. 工作流调度器azkaban2.5.0的安装和使用

    为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很 ...

  7. 工作流调度系统Azkaban的简介和使用

    1 概述 1.1 为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive脚本等 l 各任务单元之间存在时间 ...

  8. 工作流调度器之Azkaban

    Azkaban 1. 工作流调度器概述 1.1. 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序.hive脚本等 ...

  9. 【Hadoop离线基础总结】oozie的安装部署与使用

    目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...

随机推荐

  1. 【three.js第四课】自定义材料、贴图。

    1.先去下载6张不同的图片素材放到项目中. 2.在[three.js第三课]的代码基础上添加自定义的材料 //自定义材料 cubeMaterial 数组 //map:用于加载图片,THREE.Text ...

  2. Python—一个简单搜索引擎索引库

    因为课业要求,搭建一个简单的搜索引擎,找了一些相关资料并进行了部分优化(坑有点多) 一.数据 数据是网络上爬取的旅游相关的攻略页面 这个是travels表,在索引中主要用到id和url两个字段. 页面 ...

  3. stand up meeting 12/29/2015

    part 组员                今日工作              工作耗时/h 明日计划 工作耗时/h    UI 冯晓云 重写popup UI添加笔记功能     6 mergeUI ...

  4. 编码理解的漫漫长路(Unicode、GBK、ISO)

    Ø 那么现在开始康康都有哪些编码方式  1.  ASCII

  5. selenium 时间等待的方法

    一.强制等待固定秒数 try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } 执行到sl ...

  6. vue中使用echarts 制作某市各个街道镇的地图

    我要制作的是青州的各街道镇的地图,于是我上网搜,很感谢这篇文章的作者给的提点和帮助https://www.jianshu.com/p/7337c2f56876 现在我把自己的制作过程做个整理,以山东省 ...

  7. php时间:获取上一个月,本月天数,下一个月

    时间戳转日期 date() 日期转时间戳 strtotime() 当前时间戳time() 获取当前月的天数: $i=; $y=; echo date("t",strtotime(& ...

  8. 2019-2020-20199303《Linux内核原理与分析》第四周作业

    构造一个简单的Linux内核 Linux是一种开源电脑操作系统内核,它是一个用C语言写成.主要子系统: 1.系统调用接口 2.进程管理 3.内存管理 4.虚拟文件系统 qemu是一个开源模拟处理器,在 ...

  9. 查看 Nginx 的日志目录

    即便是 docker 容器,对应的目录也是一样的 > /var/log/nginx/xxx.log

  10. java中for循环和while循环,哪个更快?--一道面试题

    for的 while的