069 Hue协作框架

一：介绍

1.官网

　　官网：http://gethue.com/

　　　　

　　下载：http://archive.cloudera.com/cdh5/cdh/5/，只能在这里下载，不是Apache的

　　手册：http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html

　　

2.支持的框架

　　-》job

　　　　-》yarn
　　　　-》mr1
　　-》oozie
　　-》HDFS
　　　　-》查文件
　　　　-》文件的管理
　　　　-》增删改查
　　-》hive
　　-》rdbms

　　截图：

　　

3.注意

　　hue必须重新编译，因为对于每个linux环境不同。

二：安装

1.下载hue包

　　

2.需要安装的依赖

　　

3.检测依赖

　　

4.安装依赖包

　　sudo yum install ant asciidoc cyrus-sasl-devel  libtidy   libxml2-devel  libxslt-devel mvn mysql-devel openldap-devel python-devel sqlite-devel -y

5.卸载openjdk

　　

6.编译

　　进入家目录，make apps

　　

7.配置hue.int

　　路径是：desktop/conf

　　所有的配置都是以中括号进行标记。

　　

8.启动

　　

9.访问web ui

　　http://linux-hadoop3.ibeifeng.com:8888/

10.创建hue的root用户

　　建议使用HDFS的账户，以后可以跳过权限检查。

　　

11.进入主界面

　　

三：hue与其他框架的集成

四：与HDFS的集成（修改hadoop和hue的配置）

1.修改hdfs-site

　　

2.修改core-site的代理

　　

3.重启hdfs

　　

4.配置hue中的hdfs

　　

5.重启hue

　　

6.效果

　　

五：配置yarn

1.只需要配置hue.ini

　　

2.重启hue

　　

3.检测效果

　　

六：hive的集成

1.hive的三种链接方式

　　比较重要的一种是远程链接metastore

2.远程链接metastore

　　配置hive-site

　　

　　但是，每次配置了这个，都需要在开启hive之前开启服务

　　　　bin/hive --service metastore &

3.集成hive

4.hive只需要开启hiveserver2

　　

　　

5.在hive-site中可以修改的项

　　在hive的默认端口是10000，协议是tcp。但是可以修改为http，同时修改对应的端口是10001.

　　　　<property>

　　　　　　<name>hive.server2.transport.mode</name>
　　　　　　<value>http</value>
　　　　　　<description>Server transport mode. "binary" or "http".</description>
　　　　</property>

　　

　　在链接hiveserver中，有时出现链接超时，可以修改一下的配置，可以避免这种情况。

　　　　<property>

　　　　　　<name>hive.server2.long.polling.timeout</name>
　　　　　　<value>5000</value>
　　　　　　<description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>
　　　　</property>

6.开启hiveserver2

　　bin/hiveserver2

7.修改hue.ini

　　

8.重启hue

9.检测效果

　　

七：集成RDMS

1.配置sqlite

　　启动标记对。

　　数据库显示名称，数据库的位置，引擎

　　

2.查看效果

　　

3.配置mysql

　　数据库的位置不给，说明加载所有的数据库。

　　

4.启动hue

　　

5.查看效果

　　

八：与oozie的集成

1.修改oozie的文件

　　原本是${user.name}，现在改成oozie。

　　

2.重新创建share lib

　　bin/oozie-setup.sh sharelib create -fs hdfs://linux-hadoop3.ibeifeng.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

　　

3.启动oozie

4.修改hue下 的oozie配置

　　

5.重启

6.查看效果