大数据web管理工具—

一、概述

　　HUE是一个开源的Apache Hadoop UI系统，早期由Cloudera开发，后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。

二、安装

　　安装推荐随笔：https://www.cnblogs.com/zlslch/p/6804757.html

　　1.下载hue

　　　　　http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4.tar.gz

　　　　　推荐使用百度云离线下载！

　　2.安装依赖　

ant

asciidoc

cyrus-sasl-devel

cyrus-sasl-gssapi

gcc

gcc-c++

krb5-devel

libtidy (for unit tests only,可选)

libxml2-devel

libxslt-devel

make

mvn (from maven package or maven3 tarball)

mysql  （我这里不安装了，因为在hive那边已经安装了）

mysql-devel (我这里不安装了，因为在hive那边已经安装了）

openldap-devel

python-devel

sqlite-devel

openssl-devel (for version +)

gmp-devel

　　　　一键安装：

yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel sqlite-devel openssl-devel gmp-devel

　　可以先用rpm看看是否已经安装，可以使用rpm下载再重新安装避免冲突（或者省事先装，冲突了再解决，冲突的概率不大~）：

rpm -e --nodeps   ***

　　3.解压编译

tar -zxvf hue-3.9.-cdh5.14.0.tar.gz -C /opt/

　　　　进入Hue目录：

make apps

　　// 如编译失败，可以删除目录，尝试重新解压编译

　　// 失败原因如果是找不到mysqlclilnet：

cp /usr/lib64/mysql/libmysqlclient* /usr/lib/

　　其他原因请参考上述博文

三、配置

　　1.配置Hue.ini

　　　　路径： $HUE_HOME/desktop/conf/hue.ini

　　　　screct_key可在官网查看：http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.0/manual.html

　　　　其他配置项参考上述博文

　　2.配置hadoop

　　　　在集群各机器的hdfs-site.xml中配置：

　<property>

　　　　　　<name>dfs.webhdfs.enabled</name>

　　　　　　<value>true</value>

　　　　</property>

　　　　在core-site.xml中配置：

<property>

　　　　　　<name>hadoop.proxyuser.hue.hosts</name>

　　　　　　<value>*</value>

　　　　</property>

　　　　<property>

　　　　　　<name>hadoop.proxyuser.hue.groups</name>

　　　　　　<value>*</value>

　　　　</property>

　　　　如果是HA集群，需要配置成https，此处非HA则不配置：

以及在httpfs-site.xml中修改如下配置

　　　　<property>

　　　　　　<name>httpfs.proxyuser.hue.hosts</name>

　　　　　　<value>*</value>

　　　　</property>

　　　　<property>

　　　　　　<name>httpfs.proxyuser.hue.groups</name>

　　　　　　<value>*</value>

　　　　</property>

　　修改完后，重启HDFS服务。

　　3.在Hue.ini中配置Hadoop

　　　　在Hadoop块下修改（推荐使用Notpad++）

　　　　基于上述博文，还需要配置一下database：

[desktop]

  http_host=hadoop001

  http_port=8888

  server_user=hadoop

  server_group=hadoop

  default_user=hue

  default_hdfs_superuser=hadoop

  大约500行

[[database]]

    engine=mysql

    host=bigdata

    port=3306

    user=hue

    password=hue

    name=hue

大约600行

 [hadoop]

        [[[default]]]

         fs_defaultfs=hdfs://hadoop001:8020

     webhdfs_url=http://hadoop001:50070/webhdfs/v1

      hadoop_conf_dir=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop

在780行

[beeswax]

      hive_server_host=hadoop001

         #Port where HiveServer2 Thrift server runs on.

      hive_server_port=10000

      hive_conf_dir=/home/hadoop/app/hive-1.1.0-cdh5.7.0/conf

　　　　初始化：

初始化数据库

需要输入用户名邮箱密码

[hadoop@hadoop001 bin]$ ./hue syncdb

mysql  hue 数据库生成相应的表

[hadoop@hadoop001 bin]$ ./hue migrate

启动hue

[hadoop@hadoop001 bin]$ ./supervisor

　　// 配置参考：https://blog.csdn.net/qq_35744460/article/details/89344689

四、错误收集

　　　0.编译时在usr/lib下找不到lmysqlclinet

　　　　找一下这个文件在哪：

find / -name libmysqlclient_r*

　　　　做个软连接或者cp过去：（或者可以cp到/usr/lib下面去~）

ln -sv  /usr/lib64/mysql/libmysqlclient_r.so.16.0. /usr/lib/libmysqlclient_r.so

　　　1.找不到hue用户

　　　　需要使用非root用户，新建一个普通用户（如已新建，忽略），授予hue文件夹权限：

useradd hadoop01

passwd hadoop01

chown -R /opt/hue3./

　　 2.浏览器页面打不开，无法访问，尝试关闭防火墙：

systemctl stop firewalld.service

　或者永久关闭（本机搭建的随意：）

systemctl disable firewalld.service

　　　3.页面报错：Could not connect to localhost:10000

　　　　在Hive中启动：

　hive --service hiveserver2 &