【Hadoop离线基础总结】Hue的简单介绍和安装部署
目录
Hue的简单介绍
概述
CDH Hue官方帮助文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0/user-guide/introducing.html
Hue是一组能够与Hadoop集群进行交互的web应用程序。Hue应用程序允许开发者浏览HDFS和作业、管理Hive metastore、运行Hive、Cloudera Impala查询和Pig脚本、浏览HBase、用Sqoop导出数据、提交MapReduce程序、用Solr构建自定义搜索引擎、用Oozie安排重复的工作流程。
下图说明了Hue的工作原理。Hue服务器是一个位于CDH和浏览器之间的 “容器” web应用程序。它托管所有的Hue web应用程序,并与CDH组件通信。
核心功能
1.访问HDFS和文件浏览
2.通过web调试和开发hive以及数据结果展示
3.查询solr和结果展示,报表生成
4.通过web调试和开发impala交互式SQL Query
5.spark调试和开发
7.oozie任务的开发,监控,和工作流协调调度
8.Hbase数据查询和修改,数据展示
9.Hive的元数据(metastore)查询
10.MapReduce任务进度查看,日志追踪
11.创建和提交MapReduce,Streaming,Java job任务
12.Sqoop2的开发和调试
13.Zookeeper的浏览和编辑
14.数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示
安装部署
下载Hue的压缩包并上传到linux解压
下载地址:http://archive.cloudera.com/cdh5/cdh/5/
要选择匹配自己CDH的版本,我的是:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
上传到/export/softwares
,并解压tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/
编译安装启动
1.linux系统安装依赖包
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
2.配置Hue
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
最好别用vim编辑,Windows系统用Notepad++,Mac OS用FinalShell
修改以下内容[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o (这个随便输,越长越好)
http_host=node03.hadoop.com
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
[[database]] (在587行)
engine=mysql
host=node03.hadoop.com
port=3306
user=root
password=123456
name=hue
3.创建mysql数据库
create database hue default character set utf8 default collate utf8_general_ci;
创建hue数据库
grant all on hue.* to 'hue'@'%' identified by 'hue';
实际工作过程中是需要为hue这个数据库创建对应的用户,并分配权限的,但是个人开发者可以使用root用户的权限,所以这个命令不需要执行
4.进行编译cd /export/servers/hue-3.9.0-cdh5.14.0
make apps
5.linux系统添加普通用户hue
useradd hue
passwd hue(密码自用的话也可以设置成123456,好记)
启动Hue进程
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
页面访问: http://node03:8888 如果连接不上,把node03换成ip地址
初次访问的页面需要设置管理员用户名和密码,最好设置得和Hadoop用户名和密码一致
hue与其他框架的集成
Hue与Hadoop集成
Hue与Hive集成
Hue与Impala集成
Hue与Mysql集成
Hue与oozie集成
【Hadoop离线基础总结】Hue的简单介绍和安装部署的更多相关文章
- 【Hadoop离线基础总结】impala简单介绍及安装部署
目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安 ...
- 【Hadoop离线基础总结】zookeeper的介绍以及集群环境搭建、网络编程和RPC的简单了解
ZooKeeper的介绍以及集群环境搭建.网络编程和RPC的简单了解 ZooKeeper介绍 概述 ZooKeeper是一个分布式协调服务的开源框架,主要用来解决分布式集群中应用系统的一致性问题.例如 ...
- 【Hadoop离线基础总结】HDFS详细介绍
HDFS详细介绍 分布式文件系统设计思路 概述 只有一台机器时的文件查找:hello.txt /export/servers/hello.txt 如果有多台机器时的文件查找:hello.txt nod ...
- 【Hadoop离线基础总结】HDFS入门介绍
HDFS入门介绍 概述 HDFS全称为Hadoop Distribute File System,也就是Hadoop分布式文件系统,是Hadoop的核心组件之一. 分布式文件系统是横跨在多台计算机上的 ...
- 数据库-mysql01 简单介绍以及安装部署
本次mysql数据库安装采用二进制安装(免安装即绿色版),数据库版本是mysql5.7.26 首先下载mysql安装包,然后上传服务器里,最后解压. 卸载centos7自带的数据库软件包: [root ...
- 【Hadoop离线基础总结】oozie的安装部署与使用
目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...
- 【Hadoop离线基础总结】流量日志分析网站整体架构模块开发
目录 数据仓库设计 维度建模概述 维度建模的三种模式 本项目中数据仓库的设计 ETL开发 创建ODS层数据表 导入ODS层数据 生成ODS层明细宽表 统计分析开发 流量分析 受访分析 访客visit分 ...
- 【Hadoop离线基础总结】Hive调优手段
Hive调优手段 最常用的调优手段 Fetch抓取 MapJoin 分区裁剪 列裁剪 控制map个数以及reduce个数 JVM重用 数据压缩 Fetch的抓取 出现原因 Hive中对某些情况的查询不 ...
- 【Hadoop离线基础总结】Sqoop常用命令及参数
目录 常用命令 常用公用参数 公用参数:数据库连接 公用参数:import 公用参数:export 公用参数:hive 常用命令&参数 从关系表导入--import 导出到关系表--expor ...
随机推荐
- d3限制范围缩放和平移升级到版本4
感谢您提供帮助以更新下面的代码以在版本4中工作.我已将zoom.behaviour更改为d3.zoom,但我不清楚所需的其他更改.看起来比v3还要复杂! <!DOCTYPE html> & ...
- 引用传参与reference_wrapper
本文是<functional>系列的第3篇. 引用传参 我有一个函数: void modify(int& i) { ++i; } 因为参数类型是int&,所以函数能够修改传 ...
- c++类初始化列表初探
目录 1 初始化和赋值 1.1 结论 2 构造函数初始化列表 2.1 结论 3 必须使用初始化列表的情况 3.1 结论 4 成员初始化顺序 5 参考资料 1 初始化和赋值 初始化:创建一个对象并赋予一 ...
- Java数组模拟环形队列
2.环形队列 (上一篇队列:https://www.cnblogs.com/yxm2020/p/12676323.html) 百度百科 1.假溢出 系统作为队列用的存储区还没有满,但队列却发生了溢 ...
- 详解 Collection集合
(请关注 本人"集合总集篇"博文--<详解 集合框架>) 首先,本人来讲解下 Collection集合的继承体系: Collection集合 的继承体系: Collec ...
- Python 【面试强化宝典】
四大数据类型的常用方法 列表常用方法 #1. append 用于在列表末尾追加新的对象 a = [1,2,3] a.append(4) #the result : [1, 2, 3, 4] #2. c ...
- 实战 | 将Apache Hudi数据集写入阿里云OSS
1. 引入 云上对象存储的廉价让不少公司将其作为主要的存储方案,而Hudi作为数据湖解决方案,支持对象存储也是必不可少.之前AWS EMR已经内置集成Hudi,也意味着可以在S3上无缝使用Hudi.当 ...
- Python大数据与机器学习之NumPy初体验
本文是Python大数据与机器学习系列文章中的第6篇,将介绍学习Python大数据与机器学习所必须的NumPy库. 通过本文系列文章您将能够学到的知识如下: 应用Python进行大数据与机器学习 应用 ...
- java基于OpenCV的人脸识别
基于Java简单的人脸和人眼识别程序 使用这个程序之前必须先安装配置OpenCV详细教程见:https://www.cnblogs.com/prodigal-son/p/12768948.html 注 ...
- composer+psr-4实现自动加载
自动加载 对于库的自动加载信息,Composer 生成了一个 vendor/autoload.php 文件.你可以简单的引入这个文件,你会得到一个免费的自动加载支持. require 'vendor/ ...