基于Ambari的WebUI实现集群扩容案例
基于Ambari的WebUI实现集群扩容案例
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
一.将HDP的服务托管给Ambari服务
1>.点击“Service Auto Start”
2>.进入到"Server Auto Start"的管理界面
3>.勾选需要随着Ambari启动而启动的HDP服务组件
4>.确认保存
二.扩容节点准备环境
1>.配置Ambari服务器与将要扩容的节点免密登录
[root@hdp101.yinzhengjie.org.cn ~]# ssh-copy-id root@hdp104.yinzhengjie.org.cn
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
The authenticity of host 'hdp104.yinzhengjie.org.cn (172.200.1.104)' can't be established.
ECDSA key fingerprint is SHA256:y6iS5ipSyWSGRmgcjivbWhd78pKfrcuQHeBPd5H9/U8.
ECDSA key fingerprint is MD5:da:0f:2a::c0:d4:6e:7e::::f1::a7::.
Are you sure you want to continue connecting (yes/no)? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@hdp104.yinzhengjie.org.cn's password: Number of key(s) added: Now try logging into the machine, with: "ssh 'root@hdp104.yinzhengjie.org.cn'"
and check to make sure that only the key(s) you wanted were added. [root@hdp101.yinzhengjie.org.cn ~]#
[root@hdp101.yinzhengjie.org.cn ~]#
[root@hdp101.yinzhengjie.org.cn ~]# ssh root@hdp104.yinzhengjie.org.cn
Last login: Tue Feb :: from 172.200.0.1
[root@hdp104.yinzhengjie.org.cn ~]#
[root@hdp104.yinzhengjie.org.cn ~]# who
root pts/ -- : (172.200.0.1)
root pts/ -- : (172.200.1.101)
[root@hdp104.yinzhengjie.org.cn ~]#
[root@hdp104.yinzhengjie.org.cn ~]# exit
logout
Connection to hdp104.yinzhengjie.org.cn closed.
[root@hdp101.yinzhengjie.org.cn ~]#
[root@hdp101.yinzhengjie.org.cn ~]# who
root pts/ -- : (172.200.0.1)
[root@hdp101.yinzhengjie.org.cn ~]#
[root@hdp101.yinzhengjie.org.cn ~]#
[root@hdp101.yinzhengjie.org.cn ~]# ssh-copy-id root@hdp104.yinzhengjie.org.cn
2>.扩容节点配置chrony服务指向ambari服务器的时钟服务器
[root@hdp104.yinzhengjie.org.cn ~]# yum -y install chrony
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirrors.tuna.tsinghua.edu.cn
* extras: mirrors.tuna.tsinghua.edu.cn
* updates: mirrors.tuna.tsinghua.edu.cn
base | 3.6 kB ::
extras | 2.9 kB ::
updates | 2.9 kB ::
(/): extras//x86_64/primary_db | kB ::
(/): updates//x86_64/primary_db | 6.7 MB ::
Resolving Dependencies
--> Running transaction check
---> Package chrony.x86_64 :3.4-.el7 will be installed
--> Processing Dependency: libseccomp.so.()(64bit) for package: chrony-3.4-.el7.x86_64
--> Running transaction check
---> Package libseccomp.x86_64 :2.3.-.el7 will be installed
--> Finished Dependency Resolution Dependencies Resolved ===============================================================================================================================================================================
Package Arch Version Repository Size
===============================================================================================================================================================================
Installing:
chrony x86_64 3.4-.el7 base k
Installing for dependencies:
libseccomp x86_64 2.3.-.el7 base k Transaction Summary
===============================================================================================================================================================================
Install Package (+ Dependent package) Total download size: k
Installed size: k
Downloading packages:
(/): libseccomp-2.3.-.el7.x86_64.rpm | kB ::
(/): chrony-3.4-.el7.x86_64.rpm | kB ::
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total 1.8 MB/s | kB ::
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Installing : libseccomp-2.3.-.el7.x86_64 /
Installing : chrony-3.4-.el7.x86_64 /
Verifying : libseccomp-2.3.-.el7.x86_64 /
Verifying : chrony-3.4-.el7.x86_64 / Installed:
chrony.x86_64 :3.4-.el7 Dependency Installed:
libseccomp.x86_64 :2.3.-.el7 Complete!
[root@hdp104.yinzhengjie.org.cn ~]#
[root@hdp104.yinzhengjie.org.cn ~]# yum -y install chrony
[root@hdp104.yinzhengjie.org.cn ~]# egrep -v "^#|^$" /etc/chrony.conf
server hdp101.yinzhengjie.org.cn iburst
driftfile /var/lib/chrony/drift
makestep 1.0
rtcsync
logdir /var/log/chrony
[root@hdp104.yinzhengjie.org.cn ~]#
[root@hdp104.yinzhengjie.org.cn ~]# systemctl restart chronyd
[root@hdp104.yinzhengjie.org.cn ~]#
3>.将扩容节点的chrony服务设置为开机自启动
[root@hdp104.yinzhengjie.org.cn ~]# systemctl enable chronyd
[root@hdp104.yinzhengjie.org.cn ~]#
[root@hdp104.yinzhengjie.org.cn ~]# systemctl list-unit-files | grep chronyd
chronyd.service enabled
[root@hdp104.yinzhengjie.org.cn ~]#
三.基于Ambari的WebUI将扩容节点加入现有集群
1>.点击"Hosts",进入到主机的管理界面
2>.点击"Add New Hosts"
3>.填写目标主机和Ambari私钥(可以直接在Ambari服务中将私钥下载下来)信息
[root@hdp101.yinzhengjie.org.cn ~]# sz ~/.ssh/id_rsa
4>.等待安装完成
5>.等待主机检查
6>.主机检查完毕(若宿主机环境配置正常则检查主机时并不会有异样,可以自行查看检查结果),点击下一步
7>.为扩容节点分配即将安装服务的角色
8>.分配配置群组(一般配置群组来管理不同节点的硬件配置,如果你生产环境中分配了多个组根据你的需求选择相应的分组即可)
9>.点击部署
10>.等待自动分配任务
11>.等待我们为扩容节点分配的角色服务安装完毕
12>.等待服务安装成功,点击下一步
13>.查看概要信息,并点击"COMPLETE"
14>.节点扩容成功
基于Ambari的WebUI实现集群扩容案例的更多相关文章
- 基于Ambari Server部署HDP集群实战案例
基于Ambari Server部署HDP集群实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.部署Ambari Server端 博主推荐阅读: https://www.c ...
- 基于Ambari的WebUI实现服务缩容
基于Ambari的WebUI实现服务缩容 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.实现服务的扩容 1>.进入到主机的管理界面 2>.查看主机的信息概览 3&g ...
- 基于HDInsight 3.4 HBase集群规划参考
基于linux 创建HDInsight HBase集群,选择最小配置,zk(3).NN(2).WN(2),集群节点默认组件服务规划如下 NN0: Active NameNode /HDFS ZKFai ...
- 【原创】强撸基于 .NET 的 Redis Cluster 集群访问组件
Hello 大家好,我是TANZAME,我们又见面了.今天我们来聊聊怎么手撸一个 Redis Cluster 集群客户端,纯手工有干货,您细品. 随着业务增长,线上环境的QPS暴增,自然而然将当前的单 ...
- Vertica集群扩容实验过程记录
需求: 将3个节点的Vertica集群扩容,额外增加3个节点,即扩展到6个节点的Vertica集群. 实验环境: RHEL 6.5 + Vertica 7.2.2-2 步骤: 1.三节点Vertica ...
- 基于Tomcat的Solr3.5集群部署
基于Tomcat的Solr3.5集群部署 一.准备工作 1.1 保证SOLR库文件版本相同 保证SOLR的lib文件版本,slf4j-log4j12-1.6.1.jar slf4j-jdk14-1.6 ...
- (三)kafka集群扩容后的topic分区迁移
kafka集群扩容后的topic分区迁移 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partit ...
- kafka集群扩容以及数据迁移
一 kafka集群扩容比较简单,机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以.比较需要注意的是如果公司内网dns更改的不是很及时的话,需要给原有的旧机器加上新服务器 ...
- 基于VMware的虚拟Linux集群搭建-lvs+keepalived
基于VMware的虚拟Linux集群搭建-lvs+keepalived 本文通过keepalived实现lvsserver的的双机热备和真实server之间的负载均衡.这方面的blog挺多,可是每一个 ...
随机推荐
- Centos7 使用yum安装MariaDB与MariaDB的简单配置与使用
一.mariadb的安装 MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可. 开发这个分支的原因之一是:甲骨文公司收购了MySQL后,有将MySQL闭源的潜 ...
- spark aggregateByKey 时 java.lang.OutOfMemoryError: GC overhead limit exceeded
最后发现有一个用户单日访问我们网站次数为 4千万,直接导致 aggregate 时内存不够.过滤掉该用户即可.
- 让UITextField全选
[textField selectAll:self];
- SLT学习——leafes tree扩展 【文艺平衡树】
这是一个全新的数据结构 md,别看这篇文章了,这篇已经废了. 百折不饶,再交一次,更新复杂度证明 这里是HYF,蒟蒻一只,最近因某些原因开始学数据结构了,然后就写了这篇题解. 下面给大家介绍一个全新的 ...
- SpringMVC:自定义视图及其执行过程
一:自定义视图 1.自定义一个实现View接口的类,添加@Component注解,将其放入SpringIOC容器 package com.zzj.view; import java.io.PrintW ...
- Java对象根据属性排序
参考:https://blog.csdn.net/wangtaocsdn/article/details/71500500
- 新闻网大数据实时分析可视化系统项目——7、Kafka分布式集群部署
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.Spa ...
- Ajax--数据格式
1.从服务端接收数据的时候,那些数据必须以浏览器能够理解的格式来发送,服务器端的编程语言智能以如下三种格式返回数据:1)XML; 2)JSON; 3)HTML; 2.解析HTML: --HTML由一些 ...
- 自定义sort排序
java的sort自定义: 1.排序对象必须是封装类而不能是基本数据类型: 2.调用Arrays.sort(array, left, right, cmp)进行排序,array为数组,left.rig ...
- AssetBundle打包依赖(宽宽又欠我一顿烧烤)
using UnityEngine; using System.Collections; using UnityEditor; public class dabao : EditorWindow { ...