Hue是Cloudera开源的一个Hadoop UI,由Cloudera Desktop演化而来。面向用户提供方便的UI用于平时的Hadoop操作中。Apache Ambari面向的是管理员,用于安装、维护集群,而不是使用集群。两者针对的是不同需求。

Hue安装:

 
 
 
依赖安装:
 
sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel  gmp-devel openssl-devel  
(不同环境的依赖包参考这里
JDK安装
这里必须安装oracle JDK(具体参考这里
 

Maven和Ant安装

Hue的安装过程需要依赖于Maven和Ant,按常规方法安装Maven和Ant,配置MAVEN_HOME,ANT_HOME,并将bin目录加入PATH。具体步骤略。

 
MAV(apache-maven 或者  maven3 tarball )这里安装的是apache-maven
 
sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
 
sudo sed -i s/\$releasever/6/g /etc/yum.repos.d/epel-apache-maven.repo
 
sudo yum install -y apache-maven
 
mvn --version
 
如果网络带宽足够可以略过此步骤,这里配置maven更新源,主要使用的是阿里的源
 
# 配置文件所在的位置是/etc/maven/settings.xml
<mirrors>
     <mirror>
         <id>alimaven</id>
         <mirrorOf>central</mirrorOf>
         <name>aliyun maven</name>
         <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
     </mirror>
 
     <mirror>
         <id>ui</id>
         <mirrorOf>central</mirrorOf>
         <name>Human Readable Name for this Mirror.</name>
         <url>http://uk.maven.org/maven2/</url>
     </mirror>
 
     <mirror>
         <id>jboss-public-repository-group</id>
         <mirrorOf>central</mirrorOf>
         <name>JBoss Public Repository Group</name>
         <url>http://repository.jboss.org/nexus/content/groups/public</url>
     </mirror>
 </mirrors>
可以从本地导入hue安装包,也可以直接使用wget下载,wget需要sudo权限
下载安装hue
 
 sudo wget https://dl.dropboxusercontent.com/u/730827/hue/releases/4.0.1/hue-4.0.1.tgz
 tar zxvf hue-4.0.1.tgz
 cd hue-4.0.1.tgz
 #安装
 make apps
如果编译出现问题,需要重新clean,再编译
 
make clean
make apps
 

配置Hue

Hue的配置集中在$HUE_HOME/desktop/conf/hue.ini文件,针对不同的Hadoop组件分段配置。详细配置文件参考这里。下面是我的配置示例:

注意,这里设置的主机的域名为master,配置时需要根据实际情况进行配置

Hue
 
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=0.0.0.0
http_port=8888
server_user=hue
server_group=hue
default_user=hue
default_hdfs_superuser=hue
 注意:这默认的账户为hue,如果你配置的账户和我的不相同,请在hadoop代理配置中保持一致
否则会出现一些列关于权限的问题如:

Hadoop/HDFS
fs_defaultfs=hdfs://master:9000
webhdfs_url=http://master:50070/webhdfs/v1
hadoop_conf_dir=/home/hadoop/hadoop-2.6.0/etc/hadoop
 

YARN

 resourcemanager_host=master
 resourcemanager_port=8032
 resourcemanager_api_url=http://master:18088
 proxy_api_url=http://master:18088
 history_server_api_url=http://master:19888
 
 
HBase
 hbase_clusters=(Cluster|master:9090)
 hbase_conf_dir=/home/hadoop/hbase-1.0.1.1/conf
 
 
Hive
 hive_server_host=master
 hive_server_port=10000
 hive_conf_dir=/home/hadoop/apache-hive-1.2.1-bin/conf
 
 
Pig
 # Location of piggybank.jar on local filesystem.
 ## local_sample_dir=/usr/share/hue/apps/pig/examples
 # Location piggybank.jar will be copied to in HDFS.
 ## remote_data_dir=/user/hue/pig/examples
 
 
Sqoop2
 server_url=http://master:12000/sqoop
 sqoop_conf_dir=/home/sqoop-1.99.6/conf

hadoop配置

在hdfs-site.xml添加

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

在core-site.xml添加

<!-- enable WebHDFS in the NameNode and DataNodes -->
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<!-- Hue WebHDFS proxy user setting -->
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>

注意:这里使用的webHDFS,如果需要httpFS,请参考官网进行配置

配置成功以后需要重新启动hadoop集群,注意需要将配置问题同步到所有主机上

启动及界面

启动

首先启动Hadoop集群中的HDFS,YARN,HBase等相关组件。
然后在$HUE_HOME目录下:

  1. nohup build/env/bin/supervisor &

根据配置的端口访问,我这里是8888端口:

首次访问时,会让你设置用户名和密码,这个是超级管理账号。登陆后:

HBase界面

先要启动HBase的Thrift Server:

  1. % start-hbase.sh
  2. % hbase-daemon.sh start thrift -p 9090

Hive界面

首先要启动HiverServer2

  1. % hiveserver2

Hive查询:

异常情况:

  1. Hive metastore异常:
  2. Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found

解决方案:安装sasl缺失的依赖,确保安装了以下依赖:

Sqoop作业

Pig脚本

作业执行情况

启动Spark-shell后:

文件浏览

hue4的界面和hue3部分不相同,界面提供了切换选项:

hue参考资料

Hue项目:
http://gethue.com/
https://github.com/cloudera/hue

Hue安装配置实践:
http://www.tuicool.com/articles/zIrqemB

Hue3.9 Tarball安装:
http://blog.csdn.net/bluishglc/article/details/48393291

 
Hue安装及问题:

centos 安装hue 4.0的更多相关文章

  1. CentOS 安装Nginx1.14.0

    原文地址:http://www.cnblogs.com/ascd-eg/p/9275441.html 一.安装所需环境   1.gcc 安装         yum install gcc-c++   ...

  2. centos 安装 opencv-3.1.0

    官方安装教程 http://docs.opencv.org/3.1.0/d9/d52/tutorial_java_dev_intro.html#gsc.tab=0 注意要先安装jdk和apache a ...

  3. centos 安装 redis3.2.0 集群

    这里创建6个redis节点,其中三个为主节点,三个为从节点. redis和端口对应关系: 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 从: 127.0.0 ...

  4. CentOS安装python3.5.0+uwsgi+nginx

    1安装编译工具 yum install zlib-devel bzip2-devel openssl-devel python-devel kernel-devel libffi-devel ncur ...

  5. centos 安装单机版 redis4.0.10

    redis源码地址: http://download.redis.io/releases/ 下载 redis-4.0.10.tar.gz  和  redis-stable.tar.gz 第一步:安装g ...

  6. centos安装python3.7.0过程记录

    参考自这里,整理出以下步骤. 一.下载python3.7.0包地址:https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz 二.安装 登陆Li ...

  7. linux centos安装zabbix 4.0服务端

    1.服务器安装docker sudo yum install -y yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manag ...

  8. centos安装redis 5.0版本的集群

    我在本地VM-Centos里安装5.0.5时安装遇到了些问题,参考了Blog:https://www.cnblogs.com/shawhe/p/9548620.html 顺利安装完成. 安装redis ...

  9. centos 安装mysql 8.0

    在home下新建一个mysql文件夹 cd /home mkdir mysql cd mysql 1.首先上传文件,把文件传到 /home/mysql下 链接:https://pan.baidu.co ...

随机推荐

  1. Constructor vs Object

    1. Constructor:是用于创建和初始化类中创建的一个对象的一种特殊方法. constructor([arguments]) { ... } 在一个类中只能有一个名为 “constructor ...

  2. UML类图中的各种箭头代表的含义(转自:http://www.cnblogs.com/damsoft/archive/2016/10/24/5993602.html)

    1.UML简介Unified Modeling Language (UML)又称统一建模语言或标准建模语言. 简单说就是以图形方式表现模型,根据不同模型进行分类,在UML 2.0中有13种图,以下是他 ...

  3. 第11课 enum,sizeof,typedef分析

    枚举类型的使用方法: enum的地位和struct是相等的,enum主要用来根据需要定义一些离散的值. 枚举类型的特殊意义: 工程中常用无名枚举来定义常量. 程序示例: #include <st ...

  4. POJ 2236:Wireless Network(并查集)

    Wireless Network Time Limit: 10000MS   Memory Limit: 65536K Total Submissions: 36363   Accepted: 150 ...

  5. 【转】 python 删除非空文件夹

    转自:https://blog.csdn.net/xiaodongxiexie/article/details/77155864 一般删除文件时使用os库,然后利用os.remove(path)即可完 ...

  6. C# 判断操作系统的位数

    判断操作系统的位数有一下几种方法: 1. 特征值IntPtr 2. WMI 1的实现如下: public static int GetOSInfo() { if (IntPtr.Size == 8) ...

  7. Ant build.xml相关属性详解

    关键字: ant build.xml Ant的概念 可能有些读者并不连接什么是Ant以及入可使用它,但只要使用通过Linux系统得读者,应该知道make这个命令.当编译Linux内核及一些软件的源程序 ...

  8. 实用的IP地址处理模块IPy

    https://www.cnblogs.com/cherishry/p/5916935.html IPy安装 pip install IPy IP地址.网段的基本处理 IPy模块包含IP类,使用它可以 ...

  9. bzoj3143游走

    题目:https://www.lydsy.com/JudgeOnline/problem.php?id=3143 学到了无向图中点被经过的期望次数和边被经过的期望次数. 一个点被经过的期望次数  就是 ...

  10. 两个不错点电影ED2000资源

    http://simplecd.me/ http://www.ed2000.com/ http://www.2tu.cc/ http://www.mp4ba.com/ http://www.ddyy. ...