通过Cloudera Manager部署CDH5.15.1的webUI界面详解
通过Cloudera Manager部署CDH5.15.1的webUI界面详解
作者：尹正杰
版权声明：原创作品，谢绝转载！否则将追究法律责任。
本篇博客CDH的部署完全通过Cloudera Manager的webUI的安装向导来完成的，关于CM的部署详情请参考：https://www.cnblogs.com/yinzhengjie/p/9495964.html。
一.安装CHD的服务
1>.CM的webUI界面默认的用户名/密码都是小写的admin,我们输入用户名和密码进行登录。操作如下：
2>.同一CM的协议，点击继续
3>.选择CM的免费版本
4>.点击继续
5>.为 CDH 群集安装指定主机
6>.选择CDH本地版本（即我们自己下载好的版本）
7>.CDH的默认存放路径介绍
8>.当CDH安装完毕后，点击继续
9>.等待检查主机完成
10>.我们可以根据下面的提示去相应的服务器做具体的操作，做完操作后点击“重新运行”以验证你是否配置成功！
11>.解决告警信息后，点击完成
[root@node101 ~]# xcall.sh date -R
============= node101.yinzhengjie.org.cn : date -R ============
Thu, Sep :: +
命令执行成功
============= node102.yinzhengjie.org.cn : date -R ============
Thu, Sep :: +
命令执行成功
============= node103.yinzhengjie.org.cn : date -R ============
Thu, Sep :: +
命令执行成功
[root@node101 ~]#
验证时区是否修改过来了（[root@node101 ~]# xcall.sh date -R）
[root@node101 ~]# xcall.sh "echo 10 > /proc/sys/vm/swappiness"
============= node101.yinzhengjie.org.cn : echo > /proc/sys/vm/swappiness ============
命令执行成功
============= node102.yinzhengjie.org.cn : echo > /proc/sys/vm/swappiness ============
命令执行成功
============= node103.yinzhengjie.org.cn : echo > /proc/sys/vm/swappiness ============
命令执行成功
[root@node101 ~]#
[root@node101 ~]# xcall.sh cat /proc/sys/vm/swappiness
============= node101.yinzhengjie.org.cn : cat /proc/sys/vm/swappiness ============ 命令执行成功
============= node102.yinzhengjie.org.cn : cat /proc/sys/vm/swappiness ============ 命令执行成功
============= node103.yinzhengjie.org.cn : cat /proc/sys/vm/swappiness ============ 命令执行成功
[root@node101 ~]#
[root@node101 ~]# xcall.sh "echo 10 > /proc/sys/vm/swappiness"
[root@node101 ~]# xcall.sh "echo never > /sys/kernel/mm/transparent_hugepage/defrag"
============= node101.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/defrag ============
命令执行成功
============= node102.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/defrag ============
命令执行成功
============= node103.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/defrag ============
命令执行成功
[root@node101 ~]#
[root@node101 ~]# xcall.sh cat /sys/kernel/mm/transparent_hugepage/defrag
============= node101.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/defrag ============
always madvise [never]
命令执行成功
============= node102.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/defrag ============
always madvise [never]
命令执行成功
============= node103.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/defrag ============
always madvise [never]
命令执行成功
[root@node101 ~]#
[root@node101 ~]# xcall.sh "echo never > /sys/kernel/mm/transparent_hugepage/defrag"
[root@node101 ~]# xcall.sh "echo never > /sys/kernel/mm/transparent_hugepage/enabled"
============= node101.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/enabled ============
命令执行成功
============= node102.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/enabled ============
命令执行成功
============= node103.yinzhengjie.org.cn : echo never > /sys/kernel/mm/transparent_hugepage/enabled ============
命令执行成功
[root@node101 ~]#
[root@node101 ~]# xcall.sh "cat /sys/kernel/mm/transparent_hugepage/enabled"
============= node101.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/enabled ============
always madvise [never]
命令执行成功
============= node102.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/enabled ============
always madvise [never]
命令执行成功
============= node103.yinzhengjie.org.cn : cat /sys/kernel/mm/transparent_hugepage/enabled ============
always madvise [never]
命令执行成功
[root@node101 ~]#
[root@node101 ~]# xcall.sh "echo never > /sys/kernel/mm/transparent_hugepage/enabled"
12>.自定义需要安装的服务
13>.分配角色
14>.等待审核
15>.集群设置
16>.等待安装完成
17>.完成安装后，点击继续
18>.CDH部署成功界面
19>.进入CDH主界面
二.验证CHD服务是否可用
1>.验证zookeeper是否可以正常使用
[root@node101 ~]# zookeeper-client -server node101.yinzhengjie.org.cn
Connecting to node101.yinzhengjie.org.cn
-- ::, [myid:] - INFO [main:Environment@] - Client environment:zookeeper.version=3.4.-cdh5.15.1--, built on // : GMT
-- ::, [myid:] - INFO [main:Environment@] - Client environment:host.name=node101.yinzhengjie.org.cn
-- ::, [myid:] - INFO [main:Environment@] - Client environment:java.version=1.8.0_131
-- ::, [myid:] - INFO [main:Environment@] - Client environment:java.vendor=Oracle Corporation
-- ::, [myid:] - INFO [main:Environment@] - Client environment:java.home=/soft/jdk1..0_131/jre
-- ::, [myid:] - INFO [main:Environment@] - Client environment:java.class.path=/opt/cloudera/parcels/CDH-5.15.-.cdh5.15.1.p0./lib/zookeeper/bin/../build/classes:/opt/cloudera/parcels/CDH-5.15.-.cdh5.15.1.p0./lib/zookeeper/bin/../build/lib/*.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/slf4j-log4j12.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/slf4j-log4j12-1.7.5.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/slf4j-api-1.7.5.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/netty-3.10.5.Final.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/log4j-1.2.16.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../lib/jline-2.11.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../zookeeper-3.4.5-cdh5.15.1.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/zookeeper/bin/../src/java/lib/*.jar:/etc/zookeeper/conf::/etc/zookeeper/conf:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/zookeeper.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/zookeeper-3.4.5-cdh5.15.1.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/slf4j-log4j12.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/slf4j-log4j12-1.7.5.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/slf4j-api-1.7.5.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/netty-3.10.5.Final.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/log4j-1.2.16.jar:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/bin/../lib/zookeeper/lib/jline-2.11.jar
2018-09-15 11:26:03,630 [myid:] - INFO [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2018-09-15 11:26:03,630 [myid:] - INFO [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2018-09-15 11:26:03,630 [myid:] - INFO [main:Environment@100] - Client environment:java.compiler=<NA>
2018-09-15 11:26:03,630 [myid:] - INFO [main:Environment@100] - Client environment:os.name=Linux
2018-09-15 11:26:03,631 [myid:] - INFO [main:Environment@100] - Client environment:os.arch=amd64
2018-09-15 11:26:03,631 [myid:] - INFO [main:Environment@100] - Client environment:os.version=3.10.0-327.el7.x86_64
2018-09-15 11:26:03,631 [myid:] - INFO [main:Environment@100] - Client environment:user.name=root
2018-09-15 11:26:03,631 [myid:] - INFO [main:Environment@100] - Client environment:user.home=/root
2018-09-15 11:26:03,631 [myid:] - INFO [main:Environment@100] - Client environment:user.dir=/root
2018-09-15 11:26:03,632 [myid:] - INFO [main:ZooKeeper@438] - Initiating client connection, connectString=node101.yinzhengjie.org.cn sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@506c589e
Welcome to ZooKeeper!
2018-09-15 11:26:03,650 [myid:] - INFO [main-SendThread(node101.yinzhengjie.org.cn:2181):ClientCnxn$SendThread@975] - Opening socket connection to server node101.yinzhengjie.org.cn/172.30.1.101:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2018-09-15 11:26:03,710 [myid:] - INFO [main-SendThread(node101.yinzhengjie.org.cn:2181):ClientCnxn$SendThread@852] - Socket connection established, initiating session, client: /172.30.1.101:60205, server: node101.yinzhengjie.org.cn/172.30.1.101:2181
2018-09-15 11:26:03,720 [myid:] - INFO [main-SendThread(node101.yinzhengjie.org.cn:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server node101.yinzhengjie.org.cn/172.30.1.101:2181, sessionid = 0x265db13b97d0001, negotiated timeout = 30000 WATCHER:: WatchedEvent state:SyncConnected type:None path:null
[zk: node101.yinzhengjie.org.cn(CONNECTED) 0]
登录zookeeper集群（[root@node101 ~]# zookeeper-client -server node101.yinzhengjie.org.cn Connecting to node101.yinzhengjie.org.cn）
[zk: node101.yinzhengjie.org.cn(CONNECTED) ] ls /
[zookeeper]
[zk: node101.yinzhengjie.org.cn(CONNECTED) ] quit
Quitting...
-- ::, [myid:] - INFO [main:ZooKeeper@] - Session: 0x265db13b97d0001 closed
-- ::, [myid:] - INFO [main-EventThread:ClientCnxn$EventThread@] - EventThread shut down
You have new mail in /var/spool/mail/root
[root@node101 ~]#
[root@node101 ~]#
2>.查看hdfs目录信息（注意权限，如果你想要往指定目录写数据的话，可以指定ACL）
[root@node101 ~]# hdfs dfs -ls -R /
drwxrwxrwt - hdfs supergroup -- : /tmp
drwxrwxrwt - mapred hadoop -- : /tmp/logs
drwxr-xr-x - hdfs supergroup -- : /user
drwxrwxrwx - mapred hadoop -- : /user/history
drwxrwx--- - mapred hadoop -- : /user/history/done
ls: Permission denied: user=root, access=READ_EXECUTE, inode="/user/history/done":mapred:hadoop:drwxrwx---
drwxrwxrwt - mapred hadoop -- : /user/history/done_intermediate
[root@node101 ~]#
3>.查看hdfs的webUI界面
查看hdfs的界面如下，试试有种似曾相识的感脚？
通过Cloudera Manager部署CDH5.15.1的webUI界面详解的更多相关文章
- Ubuntu安装Cloudera Manager以及CDH5.15.2
一.机子分配 注意,本安装教程是在真机上进行,而非虚拟机.另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试.线上环境将会使用 ...
- 手动安装cloudera manager 5.x（tar包方式）详解
官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦.第二种方法下载很多包.第三种方法对系统 ...
- CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解
目录 一.概念介绍 1.CDH 概览 2.Cloudera Manager 概览 二.环境准备 1.软件版本选择 2.节点准备(四个节点) 3.配置主机名和hosts解析(所有节点) 4.关闭防火墙 ...
- 使用Cloudera Manager部署Kafka消息队列
使用Cloudera Manager部署Kafka消息队列 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载需要安装的Kafka版本 1>.查看Cloudera Dis ...
- 使用Cloudera Manager部署HUE
使用Cloudera Manager部署HUE 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.添加HUE服务 1>.进入CM服务安装向导 2>.选择需要安装的h ...
- 使用Cloudera Manager部署oozie
使用Cloudera Manager部署oozie 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.进入CM服务安装向导 2>.选择要添加的oozie服务 3> ...
- 使用Cloudera Manager部署Spark服务
使用Cloudera Manager部署Spark服务 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.点击添加服务进入CM服务安装向导 2>.选择需要安装的spa ...
- Cloudera CDH 、Impala本地通过Parcel安装配置详解及什么是Parcel
本文引用自:Cloudera CDH .Impala本地通过Parcel安装配置详解及什么是Parcelhttp://www.aboutyun.com/forum.php?mod=viewthread ...
- Cloudera Manager 安装 CDH5
文档说明 本文是针对Linux CentOS6服务器与CDH5.15的安装手册. 关于CDH和ClouderaManager CDH(Cloudera's Distribution, includin ...
随机推荐
- Github知识小结
软件:计算机运行所需要的各种程序和数据的总成,包括操作系统,汇编语言,编译,程序,数据库,文字编辑和维护使用手册等. 软件的特性:(1)软件产品的主要生产是脑力劳动,还没有摆脱手工开发方式(2)软件是 ...
- myBatis插件（plugins）
MyBatis 允许你在已映射语句执行过程中的某一点进行拦截调用.默认情况下,MyBatis 允许使用插件来拦截的方法调用包括: Executor (update, query, flushState ...
- elastic-search-kibana-in-docker-dotnet-core-app
[翻译] 使用ElasticSearch,Kibana,ASP.NET Core和Docker可视化数据 原文地址:http://www.dotnetcurry.com/aspnet/1354/e ...
- CentOS7.3安装rz、sz命令
安装命令: yum install lrzsz 关于rz.sz: lrzsz是一款在linux里可代替ftp上传和下载的程序.lrzsz是一个unix通信套件提供的X,Y,和ZModem文件传输协议. ...
- 软件工程-pair work[附加题]
首先,在分组之前,我和室友周敏轩已经详细阅读了往届学长的博客,认为电梯调度这个项目应该先做UI会比较好一点,于是动手展开了UI的编写;但分组结果并没有如我们所愿,但我们依然共同进行了UI的编写,希望在 ...
- PAT 1009 说反话
https://pintia.cn/problem-sets/994805260223102976/problems/994805314941992960 给定一句英语,要求你编写程序,将句中所有单词 ...
- 面象对象设计原则之五：依赖倒置原则(The Dependency Inversion Principle,DIP)
如果说开闭原则是面向对象设计的目标的话,那么依赖倒转原则就是面向对象设计的主要实现机制之一,它是系统抽象化的具体实现.依赖倒转原则是Robert C. Martin在1996年为“C++Reporte ...
- GIL全局解释器锁+GIL全局解释器锁vs互斥锁+定时器+线程queue+进程池与线程池（同步与异步）
以多线程为例写个互斥锁 from threading import Thread ,Lockimport timemutex = Lock() n = 100 def task(): global n ...
- pip和conda到底有什么不一样？
今天看到我的foreman开始报错去询问才发现.我们的python包管理工具已经从pip整体迁移到了conda..最近的迁移真的非常多..前端也在迁移打包
- ELK日志框架（1）：安装Elasticsearch组建单服务器多节点集群
ELK简介 最近有个需求搭建一套日志系统用于集成几个业务系统的日志提供快速的检索功能,目前是用Log4net存数据库+Error级别发邮件方式,也算简单暴力好用,但历史日志的模糊查询确实很慢,所以使用 ...