ooize的使用01

1.常用的调度框架

　　1.1 linux crontab

　　　　1.1.1 编写一个crontab,每一分钟向/opt/data/cronlogs文件中添加当前时间 crontab -e

　　　　　　

　　　　　　

　　　　1.1.2 查看当前所用的定时任务 crontab -l

　　　　　　

　　　　1.1.3删除当前的定时任务 crontab -r

　　　　　　

　　1.2 azkaban (https://azkaban.github.io/)

　　1.3 oozie (http://oozie.apache.org/)

　　1.4 zeus (https://github.com/michael8335/zeus2) 阿里开源项目

2.安装oozie

　　2.1 配置oozie对hadoop的使用权限

　　　　修改/opt/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml文件，添加

　　　　　　<!-- 配置oozie的用户代理 -->
　　　　　　<property>
　　　　　　　　<name>hadoop.proxyuser.yanglin.hosts</name>
　　　　　　　　<value>*</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>hadoop.proxyuser.yanglin.groups</name>
　　　　　　　　<value>*</value>
　　　　　　</property>

　　2.2 配置hadoop所需jar包

　　　　2.2.1 解压/opt/cdh/oozie-4.0.0-cdh5.3.6/oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

　　　　　　　　tar -zxf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

　　　　2.2.2 在oozie安装目录下创建 libext 目录，并将/opt/cdh/oozie-4.0.0-cdh5.3.6/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6目录下的所有ja　　　　　　　拷贝到libext目录下

　　　　　　　mkdir libext

　　　　　　　cp oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* ./libext/

　　　　2.2.3 配置oozie使用的hadoop配置文件

　　　　　　修改/opt/cdh/oozie-4.0.0-cdh5.3.6/conf/oozie-site.xml文件

　　　　　　

　　2.3 配置oozie元数据到mysql数据库中

　　　　2.3.1 修改/opt/cdh/oozie-4.0.0-cdh5.3.6/conf/oozie-site.xml文件

　　　　　　

　　　　2.3.2 添加mysql所需要的jar到libext目录中

　　2.4 生成oozie的war包

　　　　bin/oozie-setup.sh prepare-war

　　　　

　　　　出现以下信息表示war生成成功

　　　　

　　2.5 添加公用的jar包到hdfs系统

　　　　bin/oozie-setup.sh sharelib create -fs hdfs://life-hadoop.life.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

　　　　

　　　　如果出现下面目录，表示jar上传成功

　　　　

　　2.6 生成oozie所需的元数据

　　　　bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection

　　　　

　　　　如果mysql中生成以下数据库，表示元素生成完成

　　　　

　　2.7 启动oozie

　　　　bin/oozied.sh start

　　　　

　　　　查看是否启动成功