一、改动vi /etc/hosts 添加节点ip、(没个节点都要加入 ) 

二、设置hostname

    vi /etc/sysconfig/network

     把hostname改为node3

    验证:重新启动linux

    或者:hostname 主机名(这样设置是hostname暂时有效,重新启动后失效 )

三、先设置本机的shh免password登陆

    操作:(1)产生密钥,运行命令ssh-keygen -t rsa,产生的密钥文件位于~/.ssh目录中

    (2)运行命令cp   ~/.ssh/id_rsa.pub   ~/.ssh/authorized_keys

验证:ssh localhost

    机器之间设置ssh免password登陆

    主节点是master 从节点有node1 node2 node3 node4 

    在node1上

    (1)在node1上。把node1上的公钥复制给master,运行命令ssh-copy-id -i master

    (2)在node2上。把node2上的公钥复制给master。运行命令ssh-copy-id -i master

     ……

    (3)把master上的authorized_keys拷贝到node1,node2,node3,node4运行命令

  scp  /root/.ssh/authorized_keys   node1:/root/.ssh

  scp  /root/.ssh/authorized_keys   node2:/root/.ssh

      ……

    停用防火墙:service iptables stop

 四、复制hadoop0上的/usr/local/jdk、/usr/local/hadoop到node1、node2、……的相应文件夹下

        scp -r /usr/local/jdk1.7.0_60node1:/usr/local

        scp -r /usr/local/jdk1.7.0_60node2:/usr/local

……

改动namenode的配置文件conf/slaves

scp -r  /usr/local/hadoop-2.2.0 node1:/usr/local

scp -r  /usr/local/hadoop-2.2.0 node2:/usr/local

……

  五、复制master上的/etc/hosts下的配置 到其它node1和node2 ……节点

  scp  master:/etc/profile   node1:/etc/profile

  而且还要在node1、node2、……上分别运行source  /etc/profile

  六、在master上运行格式化命令hadoop namenode -format

   hadoop namenode -format







错误调试

WARNING: POSSIBLE DNS SPOOFING DETECTED

与SSHserver无关,仅仅需把.ssh文件夹下的文件删除就可以。

下次使用ssh时文件会重建的。

出现这问题的解决办法通常是同一主机使用了不同的username登陆。(假设多个域名和多个IP同一时候指向同一主机,ssh仍然视为不同主机。

rm known_hosts

然后在ssh一次就好了



集群ssh配置总结

先运行ssh-keygen -t rsa,产生密钥。文件位于root/.ssh/目录中,然后运行cp   ~/.ssh/id_rsa.pub   ~/.ssh/authorized_keys 进行授权(事实上是将本机产生的密钥放置公钥文件里)

然后将本机的公钥文件复制给master,运行命令ssh-copy-id -i master,也就是master统一管理各个节点的公钥,然后master节点运行 scp  /root/.ssh/authorized_keys   node1:/root/.ssh

会把每天机器上的公钥都会复制给node节点,这样node节点就能够通信了

六、HDFS加入删除节点并进行hdfs balance

方式1:静态加入datanode。停止namenode方式 

1.停止namenode 

2.改动slaves文件,并更新到各个节点 

3.启动namenode 

4.运行hadoop balance命令。

(此项为balance集群使用。假设仅仅是加入节点,则此步骤不须要) 





方式2:动态加入datanode,不停namenode方式 

1.改动slaves文件。加入须要添加的节点host或者ip,并将其更新到各个节点 

2.在datanode中启动运行启动datanode命令。

命令:sh hadoop-daemon.sh start datanode 

3.能够通过web界面查看节点加入情况。

或使用命令:sh hadoop dfsadmin -report 

4.运行hadoop balance命令。(此项为balance集群使用,假设仅仅是加入节点,则此步骤不须要) 





针对第4点,start-balancer.sh能够运行-threshold參数。

-threshold參数是指定平衡的阈值。 

-threshold的默认是10。即每一个datanode节点的实际hdfs存储使用量/集群hdfs存储量 





举例: 

datanode hdfs使用量1.2G; 

集群总hdfs存储量10T即10000G。 

则t值为1.2/10000 = 0.00012; 

当运行balance的-t參数小于0.00012时,集群进行balance; 

命令为:start-balancer.sh -threshold 0.0001 





注: 

1. balance命令能够在namenode或者datanode上启动。 

能够随时停止balance命令。 

balance的默认带宽是1M/s。 

2. slave文件是用于重新启动时使用。集群的start和stop须要读取slave文件。

启用datanode时仅仅要在hdfs-site中配置了namenode位置。就能够将信息push给namenode。 

查看namenode的http管理界面。可查看节点加入情况。 









HDFS删除节点 

方式1:通过dead方式(namenode上): 

1.sh hadoop dfsadmin  -refreshServiceAcl 

说明:dead方式并未改动slave文件和hdfs-site文件。 

所以在集群重新启动时。该节点不会被加入到namenode的管理中。 

此次在namenode上进行。其它节点可另行实验。。该命令会将该节点状态置为dead。 





方式2:通过decommission方式: 

a) 改动hdfs-site,加入exclude字段中的排除的节点。

b) 运行sh hadoop dfsadmin -refreshNodes,强制刷新。 

c) 查看节点状态。该节点的状态为decommission。

说明:decommission方式改动了hdfs-site文件。未改动slave文件。 

所以集群重新启动时,该节点尽管会被启动为datanode,可是因为加入了exclude,所以namenode会将该节点置为decommission。

此时namenode不会与该节点进行hdfs相关通信。也即exclude起到了一个防火墙的作用。 

注: 

1. 假设在某个节点单独停止datanode,那么在namenode的统计中仍会出现该节点的datanode信息。 

此时可通过dead或者decommission(退役)方式下线机器。

七、加入节点新节点后hbase 的HRegionServer起不来或启动治好有挂掉

hbase的conf 配置文件hbase-site.xml中的

<property>

   <name>hbase.zookeeper.quorum</name>

   <value>node1,node2,node3,node4,node5</value>  

   </property>

建议位奇数个节点

regionservers

node1

node2

node3

node4

node5

建议也位奇数个

假设HRegionServer还是启动不起来,报错例如以下:

Exception in thread "regionserver60020" java.lang.NullPointerException

at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:882)

at java.lang.Thread.run(Thread.java:745)

那么就须要看看各个节点的时间是否同样

命令例如以下:

date

改动

date -s 改动的时间

也能够每一个节点同步一下互联网时间;

命令例如以下:

ntpdate time-a.nist.gov

然后在又一次start-hbase.sh( hadoop集群开启的情况下)、

OK!祝你好运!

hadoop集群加入新节点hhbase调试的更多相关文章

  1. 大数据实操3 - hadoop集群添加新节点

    hadoop集群支持动态扩展,不需要停止原有集群节点就可以实现新节点的加入. 我是使用docker搭建的进群环境,制作了镜像文件,这里以我的工作基础为例子介绍集群中添加集群的方法 一.制作一个新节点 ...

  2. hadoop集群添加新节点

    0.说明 Hadoop集群已经运行正常,现在新买了一些机子,要加入到集群里面增加新的节点.以下就是增加的过程. 1.配置运行环境 安装与master和其他slave相同的java环境,jdk版本要相同 ...

  3. hadoop集群增加新节点

    上次hadoop集群一块数据盘报警, 提交工单后维修人员更换硬盘 服务器是dell r720的, 8盘位, 蛋疼的是这些硬盘都是做的单盘raid1,维修人员说必须关机导入硬盘才能正常使用 (服务器就这 ...

  4. Hadoop集群添加新节点步骤

    1.在新节点中进行操作系统配置,包括主机名.网络.防火墙和无密码登录等. 2.在所有节点/etc/host文件中添加新节点 3.把namenode的有关配置文件复制到该节点 4.修改master节点s ...

  5. 『NiFi 节点本地流与集群流不一致导致集群加入失败』问题解决

    一.概述 在某些极端情况下,某些 NiFi 节点信息会由于用户强行 disconnect from cluster ,而出现 local flow 与 cluster 的 flow 不同步的问题. 此 ...

  6. k8s集群节点更换ip 或者 k8s集群添加新节点

    1.需求情景:机房网络调整,突然要回收我k8s集群上一台node节点机器的ip,并调予新的ip到这台机器上,所以有了k8s集群节点更换ip一说:同时,k8s集群节点更换ip也相当于k8s集群添加新节点 ...

  7. Consul集群加入网关服务(Spring Cloud Gateway)

    Consul集群加入网关服务 架构示意图 外部的应用或网站通过外部网关服务消费各种服务,内部的生产者本身也可能是消费者,内部消费行为通过内部网关服务消费. 一个内部网关和一个外部网关以及一个Consu ...

  8. 现有rabbitmq集群添加新节点,移除旧节点(可以作为rabbitmq集群迁移使用)

    原有集群安装步骤:https://www.cnblogs.com/sanduzxcvbnm/p/15797788.html 1.拉取镜像 集群中新节点需要执行 docker pull rabbitmq ...

  9. redis 集群添加新节点

    准备好需要添加的节点:如何创建节点 启动创建的节点: 启动成功: 添加新节点:redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000  第 ...

随机推荐

  1. 【云计算】Docker监控相关资料

    Cloud Insight 是东半球首款次世代系统监控工具:http://www.oneapm.com/ci/docker.html?utm_source=BaiduPaid&utm_medi ...

  2. asp.net购物车,订单以及模拟支付宝支付(一)---购物车表及添加购物车流程

    在开发一个Web程序的时候用到了网购这个功能,上来分享并记录一下,以便以后忘记了可以自己看看(电脑东西太多,笔记都不知道放哪里去了啊啊啊啊啊!!!) 没有什么高并发量,什么什么技术理论,只是一个最最基 ...

  3. EasyUI-DataGrid动态合并单元格

    js /** * EasyUI DataGrid根据字段动态合并单元格 * @param fldList 要合并table的id * @param fldList 要合并的列,用逗号分隔(例如:&qu ...

  4. phpunit与xdebug的使用

    基本说明: 1.xdebug是程序猿在调试程序过程中使用的bug调试暴露工具 windows下安装: 1)下载php对应的dll文件,下载地址:https://xdebug.org/download. ...

  5. 各大网站css初始化代码【转】

    文章来源:http://blog.sina.com.cn/s/blog_71ed1b870101a52w.html 腾讯QQ官网(http://www.qq.com)样式初始化 body,ol,ul, ...

  6. Web学习篇之---css基础知识(一)

    css基础知识(一) 1.css样式: 载入css样式有下面四种: 1).外部样式 2).内部样式 3).行内样式 4).导入样式 <link href="layout.css&quo ...

  7. 插件化注解处理API(Pluggable Annotation Processing API)

    Java奇技淫巧-插件化注解处理API(Pluggable Annotation Processing API) 参考资料 JDK6的新特性之六:插入式注解处理API(Pluggable Annota ...

  8. SpringBoot学习小结

    基于Spring,简化Spring应用开发的框架,整个Spring技术栈的大整合,J2EE开发的一站式解决方案 优点: 快速创建独立运行的Spring项目以及集成主流框架 使用嵌入式的Servlet容 ...

  9. 查看电脑CPU核心数的方法

    查看电脑CPU核心数的方法: 方法一: 同时按下[Ctrl+Shift+Esc]组合快捷键打开任务管理器: 点击[性能]就可以看出是几核CPU了: 方法二: 在计算机图标上面点击右键,选择“管理”: ...

  10. 设置U盘启动

    利用快捷键来设置U盘启动,利用快捷键启动相对来说比较简单快捷,推荐大家使用(重要提醒:选择热键前,请先插入U盘) 组装机主板 品牌笔记本 品牌台式机 主板品牌 启动按键 笔记本品牌 启动按键 台式机品 ...