《OD学oozie》20160813

一、日志收集项目案例

1.

oozie中依赖jar包

在工作目录下创建lib目录，上传依赖包的lib目录下

2. 作业

将日志收集与处理项目案例使用oozie的workflow执行

3. coordinator

在workflow基础上添加了一个coordinator.xml

coordinator时区

UTC

GMT

CST  ==> GMT+0800  东八区时间

1）将本地服务器的时间设置为GMT+0800

date -R

date

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2）

vi /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/conf.oozie.default

<name>oozie.processing.timezone</name>
<value>GMT+0800</value>

3）

oozie-server

oozie-console.jps

177行

改为GMT+0800

coordinator基于数据集的调度

4. oozie bundle

将一些corodinator集中起来

bundle

coordinator

workflow

二、Hue

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html

hdfs 50070

mapreduce job 8088

oozie 11000/oozie

将上面的页面整合到一个web项目中

hive: hql，在页面上编写hql，同时可以通过点击按钮来执行，并且执行完结果直接展示到页面。

1. 下载

hue-3.7.0-cdh5.3.6.tar.gz

2. 解压

3. 安装依赖包

sudo yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel

1）依赖包冲突问题

卸载掉冲突的客户端 rpm -e --nodeps mysql-community-client-5.6.31-2.el6.x86_64

2）

4. 编译安装

在$HUE_HOME下执行

make apps

5. 启动

build/env/bin/supervisor

6. 修改配置文件

1）集成hdfs

webhdfs_url如果是非HA的HDFS：

webhdfs_url=http://beifeng-hadoop-02:50070/webhdfs/v1

webhdfs_url如果是HA的HDFS：

webhdfs_url=http://beifeng-hadoop-02:14000/webhdfs/v1

2）集成yarn

3）集成hive

hue无法连接HiveServer2问题，

4）继承oozie

<property>
<name>oozie.service.WorkflowAppService.system.libpath</name>
<value>/user/oozie/share/lib</value>
<description>
System library path to use for workflow applications.
This path is added to workflow application if their job properties sets
the property 'oozie.use.system.libpath' to true.
</description>
</property>

作业2：

将课上讲过的action

MapReduce aciton: fof

shell action： 日志分割，执行本地shell脚本

hive action： 日志记录数据的清洗和分析

sqooop action：将hive分析结果导出到mysql中

以上所有的workflow通过HUE页面来进行配置，要求有截图。