一、Hue安装

可以编译安装,我这里有已经编译好的,直接解压使用;

hue默认端口:8888

http://gethue.com/

https://github.com/cloudera/hue

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html#_install_hue

1、先停止oozie 、hdfs服务

##oozie
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# bin/oozied.sh stop ##hdfs

[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.sh stop namenode



[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.sh stop datanode

2、安装配置hue

##
[root@hadoop-senior ~]# mkdir /opt/app ##
[root@hadoop-senior hue]# tar zxf hue-3.7.0-cdh5.3.6-build.tar.gz -C /opt/app/ [root@hadoop-senior hue]# cd /opt/app/hue-3.7.0-cdh5.3.6/
[root@hadoop-senior hue-3.7.0-cdh5.3.6]# ls
app.reg apps build cloudera desktop docs ext LICENSE.txt Makefile Makefile.sdk Makefile.vars Makefile.vars.priv maven NOTICE.txt README tools VERSION ##配置:/opt/app/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini 如下:
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o # Webserver listens on this address and port
http_host=hadoop-senior.ibeifeng.com
http_port=8888 # Time zone name
time_zone=Asia/Shanghai # Enable or disable Django debug mode.
django_debug_mode=false # Enable or disable backtrace for server error
http_500_debug_mode=false

二、hue集成hdfs、yarn

1、配置hdfs

##hdfs-site.xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property> ##core-site.xml
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property> ##启动hdfs
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.sh start namenode
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.sh start datanode ##配置hue
/opt/app/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini 如下,大概在580行以后:
#
fs_defaultfs=hdfs://hadoop-senior.ibeifeng.com:8020
#
webhdfs_url=http://hadoop-senior.ibeifeng.com:50070/webhdfs/v1
#
hadoop_conf_dir=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop

2、配置yarn

##/opt/app/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini 如下:
resourcemanager_host=hadoop-senior.ibeifeng.com
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://hadoop-senior.ibeifeng.com:8088
proxy_api_url=http://hadoop-senior.ibeifeng.com:8088
history_server_api_url=http://hadoop-senior.ibeifeng.com:19888 ##启动hue
因为我之前都是用root用户操作的,而hue不让用root启动;
我这里新建一个用户,来启动hue:
[root@hadoop-senior hue-3.7.0-cdh5.3.6]# useradd beifeng
[root@hadoop-senior hue-3.7.0-cdh5.3.6]# passwd beifeng
[root@hadoop-senior hue-3.7.0-cdh5.3.6]# chown -R beifeng /opt/app/hue-3.7.0-cdh5.3.6/
[beifeng@hadoop-senior hue-3.7.0-cdh5.3.6]$ ./build/env/bin/supervisor //启动hue

然后在浏览器中ip:端口 即可访问;

三、Hue集成Hive

1、配置hive server2

##hue集成hive 依赖于hive server2

##配置hive  ,hive-site.xml
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property> <property>
<name>hive.server2.thrift.bind.host</name>
<value>hadoop-senior.ibeifeng.com</value>
</property> ##启动hive server2
[root@hadoop-senior ~]# /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/bin/hiveserver2 //启动在前端

2、hive metastore

##hive-site.xml
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop-senior.ibeifeng.com:9083</value>
</property> ##启动metastore
[root@hadoop-senior ~]# /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/bin/hive --service metastore

3、配置hue

##hue.ini    //大概在720多行
hive_server_host=hadoop-senior.ibeifeng.com
hive_server_port=10000
hive_conf_dir=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/conf
server_conn_timeout=120 ##重启hue

四、hue集成RDBMS

1、hue.ini

##大概在510行,这里需要配置sqlite,hue本身使用的是sqlite,然后再配置集成mysql
[[databases]]
# sqlite configuration.
[[[sqlite]]]
# Name to show in the UI.
nice_name=SQLite # For SQLite, name defines the path to the database.
name=/opt/app/hue-3.7.0-cdh5.3.6/desktop/desktop.db # Database backend to use.
engine=sqlite # Database options to send to the server when connecting.
# https://docs.djangoproject.com/en/1.4/ref/databases/
## options={} # mysql, oracle, or postgresql configuration.
[[[mysql]]]
# Name to show in the UI.
nice_name="My SQL DB" # For MySQL and PostgreSQL, name is the name of the database.
# For Oracle, Name is instance of the Oracle server. For express edition
# this is 'xe' by default.
name=test # Database backend to use. This can be:
# 1. mysql
# 2. postgresql
# 3. oracle
engine=mysql # IP or hostname of the database to connect to.
host=hadoop-senior.ibeifeng.com # Port the database server is listening to. Defaults are:
# 1. MySQL: 3306
# 2. PostgreSQL: 5432
# 3. Oracle Express Edition: 1521
port=3306 # Username to authenticate with when connecting to the database.
user=root # Password matching the username to authenticate with when
# connecting to the database.
password=123456 # Database options to send to the server when connecting.
# https://docs.djangoproject.com/en/1.4/ref/databases/
## options={} ##重启hue

五、hue集成oozie

1、hue.ini

local_data_dir=/opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples

sample_data_dir=/opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples/input-data

remote_data_dir=/user/root/examples/apps

oozie_jobs_count=100

2、oozie-site.xml

配置/user/oozie/share/lib

<property>
<name>oozie.service.WorkflowAppService.system.libpath</name>
<value>/user/oozie/share/lib</value>
<description>
System library path to use for workflow applications.
This path is added to workflow application if their job properties sets
the property 'oozie.use.system.libpath' to true.
</description>
</property>

3、执行下列命令

##在oozie中执行
bin/oozie-setup.sh sharelib create \
-fs hdfs://hadoop-senior.ibeifeng.com:8020 \
-locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz ##重启oozie
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# bin/oozied.sh stop
[root@hadoop-senior oozie-4.0.0-cdh5.3.6]# bin/oozied.sh start

##重启hue

hue集成各种组件的更多相关文章

  1. 大数据平台搭建 - cdh5.11.1 - hue安装及集成其他组件

    一.简介 hue是一个开源的apache hadoop ui系统,由cloudear desktop演化而来,最后cloudera公司将其贡献给了apache基金会的hadoop社区,它基于pytho ...

  2. .NetCore&#183;集成Ocelot组件之完全解决方案

    阅文时长 | 11.04分钟 字数统计 | 17672.8字符 主要内容 | 1.前言.环境说明.预备知识 2.Ocelot基本使用 3.Ocelot功能挖掘 4.Ocelot集成其他组件 5.避坑指 ...

  3. Hue集成Hadoop和Hive

    一.环境准备 1.下载Hue:https://dl.dropboxusercontent.com/u/730827/hue/releases/3.12.0/hue-3.12.0.tgz 2.安装依赖 ...

  4. 在laravel5.8中集成swoole组件----用协程实现的服务端和客户端(二)---静态文件如何部署

    目前,较为成熟的技术是采用laravelS组件,注意和laravel 区别laravelS多了一个大写的S,由于laravelS默认监听5200端口,所以laravel项目要做一些调整 例如: 静态文 ...

  5. 在laravel5.8中集成swoole组件----初步测试

    铺垫 前提是先安装swoole组件,我采用从pecl-----php扩展组件网下载swoole扩展包,然后切入到解压缩的扩展包中运行phpize命令, phpize是一种编译命令,可以在安装文件中生成 ...

  6. Apache的HBase与cdh的hue集成(不建议不同版本之间的集成)

    1.修改hue的配置文件hue.ini [hbase] # Use full hostname with security. hbase_clusters=(Cluster|linux-hadoop3 ...

  7. hue集成hbase出现TSocket read 0 bytes

    解决办法:修改hbase的配置文件 添加以下配置 https://stackoverflow.com/questions/20415493/api-error-tsocket-read-0-bytes ...

  8. hue集成hive访问报database is locked

    这个问题这应该是hue默认的SQLite数据库出现错误,你可以使用mysql postgresql等来替换 hue默认使用sqlite作为元数据库,不推荐在生产环境中使用.会经常出现database ...

  9. 077 Apache的HBase与cdh的hue集成(不建议不同版本之间的集成)

    1.修改hue的配置文件hue.ini [hbase] # Use full hostname with security. hbase_clusters=(Cluster|linux-hadoop3 ...

随机推荐

  1. 【每日Scrum】第六天(4.16) TD学生助手Sprint1阶段性成果

    TD学生助手Sprint1阶段性成果(4.16) 任务看板 站立会议内容 组员 昨天 今天 困难 签到 刘铸辉 (组长) 和叶姐,静姐修改页面布局和图片显示,保证界面的亲切. 和大家一起做演示PPT, ...

  2. ARM architecture

    http://en.wikipedia.org/wiki/ARM_architecture ARM architecture     ARM architectures The ARM logo De ...

  3. 简单的ftp服务器

    import os from pyftpdlib.authorizers import DummyAuthorizer from pyftpdlib.handlers import FTPHandle ...

  4. 深入Garbage First垃圾收集器(一)术语

    Garbage垃圾收集器的原理,在这篇博客中有讲到,可以拿来参考下, Getting Started with the G1 Garbage Collector(译) 另外在这篇博客中也有讲到很多垃圾 ...

  5. MAC如何查看某个端口的占用情况

    执行如下命令: lsof -i tcp:8080 #8080为查询的端口号 会展示该端口的使用情况,然后kill -9 PID的值即可关闭该端口

  6. 一堂C++课玩转rpm包的制作

    常见的Linux发行版主要可以分为两类,类ReadHat系列和类Debian系列,这里我们是以其软件包的格式来划分的,这两类系统分别提供了自己的软件包管理系统和相应的工具.类RedHat系统中软件包的 ...

  7. SpringBoot-(1)-IDEA创建SpringBoot项目并运行访问接口

    一,安装IDEA mac安装IDEA IDEA配置Tomcat 二,创建SpringBoot项目 1,打开IDEA,点击Create New Project 2,选择自己所安装的JDK.如果没有配置J ...

  8. Mac终端操作SVN指令

    1.将文件checkout到本地目录 svn checkout path(path是服务器上的目录)   例如:svn checkout svn://192.168.1.1/pro/domain    ...

  9. 遇到的一个Form表单自动提交问题解决办法

    Form 表单中只有一个 input 元素时按回车会默认提交表单.有的时候我们希望按回车可以进行列表查询,但是查询后表单被自动提交了,然后刷新了整个页面.这个时候就需要对这个 Form 表单处理一下以 ...

  10. matlab从fig文件中提取数据

    如果你的fig文件中图像是由多条曲线绘制而成,比如说plot命令生成的,通过以下方式输出横坐标,纵坐标的取值 open('figname.fig'); lh = findall(gca, 'type' ...