17.Azkaban实战

首先创建一个command.job文件

#command.job
type=command
command=echo it18zhang

然后打成zip压缩包

上传刚刚打包的zip包

上传完后可以执行他

可以定时执行

现在我们立马执行

现在我们要执行一个脚本

新建一个commad1.job文件

#command.job
type=command
command=bash hello.sh

再编写一个hello,sh脚本

#!/bin/bash
echo 'hello it18zhang~~~~' 

把两个文件都选上一起打包

上传刚刚打的zip包

执行

创建有依赖关系的多个job描述

新建一个bar.job

# bar.job
type=command
dependencies=foo
command=echo bar

新建一个foo.job

# foo.job
type=command
command=echo foo

把这两个文件一起打成zip包

HDFS操作任务

新建文件fs.job

# fs.job
type=command
command=/opt/modules/hadoop-2.6./bin/hadoop fs -mkdir /azaz

打包成zip包

MAPREDUCE任务

先创建一个输入路径

创建一个数据文件b.txt

输入一些单词

把b.txt文件上传到hdfs上

创建mrwc.job文件

# mrwc.job
type=command
command=/opt/modules/hadoop-2.6./bin/hadoop  jar hadoop-mapreduce-examples-2.6..jar wordcount /wordcount/input /wordcount/azout

把这两个文件一起打包

在azkaban创建一个project

可以看到执行成功了

HIVE脚本任务

先创建目录

hadoop fs -mkdir -p /aztest/hiveinput

新建一个c.txt数据文件

把c.txt文件上传到HDFS上

新建hivef.job

# hivef.job
type=command
command=/opt/modules/hive/bin/hive -f 'test.sql'

新建test.sql

use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ',' ;
load data inpath '/aztest/hiveinput' into table aztest;
create table azres as select * from aztest;
insert overwrite directory '/aztest/hiveoutput' select count() from aztest;

打包成hivef.zip

可以看到失败了，查看原因

把本地hive的Lib目录下的mysql连接包的版本更换一下

换成这个5.1.28版本

再运行一次，同样失败了，但是hive和hdfs上出来了相应的结果，具有原因我也不懂