【Hadoop离线基础总结】Hue的简单介绍和安装部署

目录

• Hue的简单介绍
• 概述
• 核心功能
• 安装部署
• 下载Hue的压缩包并上传到linux解压
• 编译安装启动
• 启动Hue进程
• hue与其他框架的集成
• Hue与Hadoop集成
• Hue与Hive集成
• Hue与Impala集成
• Hue与Mysql集成
• Hue与oozie集成

---

Hue的简单介绍

• 概述

  CDH Hue官方帮助文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0/user-guide/introducing.html
  
  
  
  Hue是一组能够与Hadoop集群进行交互的web应用程序。Hue应用程序允许开发者浏览HDFS和作业、管理Hive metastore、运行Hive、Cloudera Impala查询和Pig脚本、浏览HBase、用Sqoop导出数据、提交MapReduce程序、用Solr构建自定义搜索引擎、用Oozie安排重复的工作流程。
  
  下图说明了Hue的工作原理。Hue服务器是一个位于CDH和浏览器之间的 “容器” web应用程序。它托管所有的Hue web应用程序，并与CDH组件通信。
  
  

• 核心功能

  1.访问HDFS和文件浏览
  
  2.通过web调试和开发hive以及数据结果展示
  
  3.查询solr和结果展示，报表生成
  
  4.通过web调试和开发impala交互式SQL Query
  
  5.spark调试和开发
  
  7.oozie任务的开发，监控，和工作流协调调度
  
  8.Hbase数据查询和修改，数据展示
  
  9.Hive的元数据（metastore）查询
  
  10.MapReduce任务进度查看，日志追踪
  
  11.创建和提交MapReduce，Streaming，Java job任务
  
  12.Sqoop2的开发和调试
  
  13.Zookeeper的浏览和编辑
  
  14.数据库（MySQL，PostGres，SQlite，Oracle）的查询和展示

---

安装部署

• 下载Hue的压缩包并上传到linux解压

  下载地址：http://archive.cloudera.com/cdh5/cdh/5/
  
  要选择匹配自己CDH的版本，我的是：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
  
  上传到/export/softwares，并解压tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/

• 编译安装启动

  1.linux系统安装依赖包

  yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
  

  2.配置Hue
  
  cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

vim hue.ini 最好别用vim编辑，Windows系统用Notepad++，Mac OS用FinalShell
  
  修改以下内容

  [desktop]
  secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o			(这个随便输，越长越好)
  http_host=node03.hadoop.com
  is_hue_4=true
  time_zone=Asia/Shanghai
  server_user=root
  server_group=root
  default_user=root
  default_hdfs_superuser=root
  

  [[database]]		(在587行)
  engine=mysql
  host=node03.hadoop.com
  port=3306
  user=root
  password=123456
  name=hue
  

  3.创建mysql数据库
  
  create database hue default character set utf8 default collate utf8_general_ci; 创建hue数据库
  
  grant all on hue.* to 'hue'@'%' identified by 'hue'; 实际工作过程中是需要为hue这个数据库创建对应的用户，并分配权限的，但是个人开发者可以使用root用户的权限，所以这个命令不需要执行
  
  
  
  4.进行编译

  cd /export/servers/hue-3.9.0-cdh5.14.0
  make apps
  

  5.linux系统添加普通用户hue

  useradd hue
  passwd hue（密码自用的话也可以设置成123456，好记）
  

• 启动Hue进程

  cd /export/servers/hue-3.9.0-cdh5.14.0/
  build/env/bin/supervisor
  

  页面访问： http://node03:8888 如果连接不上，把node03换成ip地址
  
  初次访问的页面需要设置管理员用户名和密码，最好设置得和Hadoop用户名和密码一致

---

hue与其他框架的集成

• Hue与Hadoop集成

  查看文章：【Hadoop离线基础总结】Hue与Hadoop集成

• Hue与Hive集成

  查看文章：【Hadoop离线基础总结】Hue与Hive集成

• Hue与Impala集成

  查看文章：【Hadoop离线基础总结】Hue与Impala集成

• Hue与Mysql集成

  查看文章：【Hadoop离线基础总结】Hue与Mysql集成

• Hue与oozie集成

  查看文章：【Hadoop离线基础总结】Hue与oozie集成