Hue的简单介绍

  • 概述

    CDH Hue官方帮助文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0/user-guide/introducing.html



    Hue是一组能够与Hadoop集群进行交互的web应用程序。Hue应用程序允许开发者浏览HDFS和作业、管理Hive metastore、运行Hive、Cloudera Impala查询和Pig脚本、浏览HBase、用Sqoop导出数据、提交MapReduce程序、用Solr构建自定义搜索引擎、用Oozie安排重复的工作流程。

    下图说明了Hue的工作原理。Hue服务器是一个位于CDH和浏览器之间的 “容器” web应用程序。它托管所有的Hue web应用程序,并与CDH组件通信。

  • 核心功能

    1.访问HDFS和文件浏览

    2.通过web调试和开发hive以及数据结果展示

    3.查询solr和结果展示,报表生成

    4.通过web调试和开发impala交互式SQL Query

    5.spark调试和开发

    7.oozie任务的开发,监控,和工作流协调调度

    8.Hbase数据查询和修改,数据展示

    9.Hive的元数据(metastore)查询

    10.MapReduce任务进度查看,日志追踪

    11.创建和提交MapReduce,Streaming,Java job任务

    12.Sqoop2的开发和调试

    13.Zookeeper的浏览和编辑

    14.数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示


安装部署

  • 下载Hue的压缩包并上传到linux解压

    下载地址:http://archive.cloudera.com/cdh5/cdh/5/

    要选择匹配自己CDH的版本,我的是:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

    上传到/export/softwares,并解压tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/

  • 编译安装启动

    1.linux系统安装依赖包

    yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

    2.配置Hue

    cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

    vim hue.ini 最好别用vim编辑,Windows系统用Notepad++,Mac OS用FinalShell

    修改以下内容

    [desktop]
    secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o (这个随便输,越长越好)
    http_host=node03.hadoop.com
    is_hue_4=true
    time_zone=Asia/Shanghai
    server_user=root
    server_group=root
    default_user=root
    default_hdfs_superuser=root
    [[database]]		(在587行)
    engine=mysql
    host=node03.hadoop.com
    port=3306
    user=root
    password=123456
    name=hue

    3.创建mysql数据库

    create database hue default character set utf8 default collate utf8_general_ci; 创建hue数据库

    grant all on hue.* to 'hue'@'%' identified by 'hue'; 实际工作过程中是需要为hue这个数据库创建对应的用户,并分配权限的,但是个人开发者可以使用root用户的权限,所以这个命令不需要执行



    4.进行编译

    cd /export/servers/hue-3.9.0-cdh5.14.0
    make apps

    5.linux系统添加普通用户hue

    useradd hue
    passwd hue(密码自用的话也可以设置成123456,好记)
  • 启动Hue进程
    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

    页面访问: http://node03:8888 如果连接不上,把node03换成ip地址

    初次访问的页面需要设置管理员用户名和密码,最好设置得和Hadoop用户名和密码一致


hue与其他框架的集成

【Hadoop离线基础总结】Hue的简单介绍和安装部署的更多相关文章

  1. 【Hadoop离线基础总结】impala简单介绍及安装部署

    目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安 ...

  2. 【Hadoop离线基础总结】zookeeper的介绍以及集群环境搭建、网络编程和RPC的简单了解

    ZooKeeper的介绍以及集群环境搭建.网络编程和RPC的简单了解 ZooKeeper介绍 概述 ZooKeeper是一个分布式协调服务的开源框架,主要用来解决分布式集群中应用系统的一致性问题.例如 ...

  3. 【Hadoop离线基础总结】HDFS详细介绍

    HDFS详细介绍 分布式文件系统设计思路 概述 只有一台机器时的文件查找:hello.txt /export/servers/hello.txt 如果有多台机器时的文件查找:hello.txt nod ...

  4. 【Hadoop离线基础总结】HDFS入门介绍

    HDFS入门介绍 概述 HDFS全称为Hadoop Distribute File System,也就是Hadoop分布式文件系统,是Hadoop的核心组件之一. 分布式文件系统是横跨在多台计算机上的 ...

  5. 数据库-mysql01 简单介绍以及安装部署

    本次mysql数据库安装采用二进制安装(免安装即绿色版),数据库版本是mysql5.7.26 首先下载mysql安装包,然后上传服务器里,最后解压. 卸载centos7自带的数据库软件包: [root ...

  6. 【Hadoop离线基础总结】oozie的安装部署与使用

    目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...

  7. 【Hadoop离线基础总结】流量日志分析网站整体架构模块开发

    目录 数据仓库设计 维度建模概述 维度建模的三种模式 本项目中数据仓库的设计 ETL开发 创建ODS层数据表 导入ODS层数据 生成ODS层明细宽表 统计分析开发 流量分析 受访分析 访客visit分 ...

  8. 【Hadoop离线基础总结】Hive调优手段

    Hive调优手段 最常用的调优手段 Fetch抓取 MapJoin 分区裁剪 列裁剪 控制map个数以及reduce个数 JVM重用 数据压缩 Fetch的抓取 出现原因 Hive中对某些情况的查询不 ...

  9. 【Hadoop离线基础总结】Sqoop常用命令及参数

    目录 常用命令 常用公用参数 公用参数:数据库连接 公用参数:import 公用参数:export 公用参数:hive 常用命令&参数 从关系表导入--import 导出到关系表--expor ...

随机推荐

  1. d3限制范围缩放和平移升级到版本4

    感谢您提供帮助以更新下面的代码以在版本4中工作.我已将zoom.behaviour更改为d3.zoom,但我不清楚所需的其他更改.看起来比v3还要复杂! <!DOCTYPE html> & ...

  2. 引用传参与reference_wrapper

    本文是<functional>系列的第3篇. 引用传参 我有一个函数: void modify(int& i) { ++i; } 因为参数类型是int&,所以函数能够修改传 ...

  3. c++类初始化列表初探

    目录 1 初始化和赋值 1.1 结论 2 构造函数初始化列表 2.1 结论 3 必须使用初始化列表的情况 3.1 结论 4 成员初始化顺序 5 参考资料 1 初始化和赋值 初始化:创建一个对象并赋予一 ...

  4. Java数组模拟环形队列

    2.环形队列 (上一篇队列:https://www.cnblogs.com/yxm2020/p/12676323.html) 百度百科 1.假溢出 ​ 系统作为队列用的存储区还没有满,但队列却发生了溢 ...

  5. 详解 Collection集合

    (请关注 本人"集合总集篇"博文--<详解 集合框架>) 首先,本人来讲解下 Collection集合的继承体系: Collection集合 的继承体系: Collec ...

  6. Python 【面试强化宝典】

    四大数据类型的常用方法 列表常用方法 #1. append 用于在列表末尾追加新的对象 a = [1,2,3] a.append(4) #the result : [1, 2, 3, 4] #2. c ...

  7. 实战 | 将Apache Hudi数据集写入阿里云OSS

    1. 引入 云上对象存储的廉价让不少公司将其作为主要的存储方案,而Hudi作为数据湖解决方案,支持对象存储也是必不可少.之前AWS EMR已经内置集成Hudi,也意味着可以在S3上无缝使用Hudi.当 ...

  8. Python大数据与机器学习之NumPy初体验

    本文是Python大数据与机器学习系列文章中的第6篇,将介绍学习Python大数据与机器学习所必须的NumPy库. 通过本文系列文章您将能够学到的知识如下: 应用Python进行大数据与机器学习 应用 ...

  9. java基于OpenCV的人脸识别

    基于Java简单的人脸和人眼识别程序 使用这个程序之前必须先安装配置OpenCV详细教程见:https://www.cnblogs.com/prodigal-son/p/12768948.html 注 ...

  10. composer+psr-4实现自动加载

    自动加载 对于库的自动加载信息,Composer 生成了一个 vendor/autoload.php 文件.你可以简单的引入这个文件,你会得到一个免费的自动加载支持. require 'vendor/ ...