相关链接

   Hadoop 完全分布式安装


0. 说明

  SecondaryNameNode 的作用  参考【待补充】

  在 Hadoop 完全分布式的基础之上配置

  将 SecondaryNameNode 配置到 s105 节点上

  集群规划如下

服务器主机名 ip 节点配置
s101 192.168.23.101 NameNode / ResourceManager 
s102 192.168.23.102 DataNode / NodeManager
s103 192.168.23.103 DataNode / NodeManager
s104 192.168.23.104 DataNode / NodeManager
s105 192.168.23.105 SecondaryNameNode

1. 配置 root 用户的 SSH 免密登陆

  1.1 在 s101 节点上切换到 root 用户

su root

  1.2 生成公私密钥对

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

  1.3 配置免密登陆(完成后退出 root 用户)

ssh-copy-id root@s101
ssh-copy-id root@s102
ssh-copy-id root@s103
ssh-copy-id root@s104
ssh-copy-id root@s105

2. 编写 xcall.sh 脚本

  说明

  xcall.sh 脚本编写是为了多个节点同时执行相同的命令

  xcall.sh 脚本如下:

#!/bin/bash

# for循环
for((i= ; i<=; i++)) ; do
# 更改文本颜色
tput setaf
# 输出以下文本
echo ==================== s$i $@ ===================
# 更改文本颜色
tput setaf
# ssh 远程登陆主机 s$i ,执行输入的参数的命令
ssh s$i $@
done

  为 xcall.sh 赋予可执行权限

chmod a+x xcall.sh

  编写完成之后,将其发送到 /usr/local/bin 下。

mv xcall.sh  /usr/local/bin

  创建 jps 软链接

  在 /usr/local/bin 中为 jps 创建软连接(每个服务器都要创建)

ln -s /soft/jdk/bin/jps /usr/local/bin/jps

3. 编写 xsync.sh 脚本

  说明

  xsync.sh 脚本编写是为了从主节点同步配置文件到子节点

  xsync.sh 脚本如下:

#!/bin/bash

# 指出当前用户名
name=`whoami`
# 指定文件所在文件夹名称
dir=`dirname $`
# 指定文件的文件名
filename=`basename $`
# 进入到dir中
cd $dir
# 得到当前目录的绝对路径
fullpath=`pwd` for((i= ; i<=; i++)) ; do
tput setaf
echo ==================== s$i $@ ===================
tput setaf
# 远程同步命令 l 保留软连接 r 递归文件夹
rsync -lr $filename "$name"@s"$i":$fullpath
done

  为 xsync.sh 赋予可执行权限

chmod a+x xsync.sh

  编写完成之后,将其发送到 /usr/local/bin 下。

mv xsync.sh  /usr/local/bin

  使用 root 用户权限在所有机器上安装 rsync

xcall.sh yum install -y rsync

4. 修改 & 分发配置文件

  4.1 修改配置文件 [ hdfs-site.xml ]

  位置在 /soft/hadoop/etc/hadoop/hdfs-site.xml

  添加配置

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>s105:50090</value>
</property>

  4.2 分发配置文件

  删除其他节点的所有 hdfs-site.xml

ssh s102 rm -r /soft/hadoop/etc/hadoop/hdfs-site.xml
ssh s103 rm -r /soft/hadoop/etc/hadoop/hdfs-site.xml
ssh s104 rm -r /soft/hadoop/etc/hadoop/hdfs-site.xml
ssh s105 rm -r /soft/hadoop/etc/hadoop/hdfs-site.xml

  

  使用 xsync.sh 脚本将所有配置文件进行同步

xsync.sh /soft/hadoop/etc/hadoop/hdfs-site.xml

5. 启动 Hadoop & 验证 SecondaryNameNode 配置成功

  启动 Hadoop

start-all.sh

  验证 SecondaryNameNode 配置成功

xcall.sh jps

  


将 SecondaryNameNode 配置到 s105 节点上的更多相关文章

  1. OpenStack-Ocata版+CentOS7.6 云平台环境搭建 — 6.在计算节点上安装并配置计算服务Nova

    安装和配置计算节点这个章节描述如何在计算节点上安装和配置计算服务. 计算服务支持几种不同的 hypervisors.为了简单起见,这个配置在计算节点上使用 :KVM <kernel-based ...

  2. 从0开始搭建SQL Server AlwaysOn 第四篇(配置异地机房节点)

    从0开始搭建SQL Server AlwaysOn 第四篇(配置异地机房节点) 第一篇http://www.cnblogs.com/lyhabc/p/4678330.html第二篇http://www ...

  3. TaskTracker节点上的内存管理器

    Hadoop平台的最大优势就是充分地利用了廉价的PC机,这也就使得集群中的工作节点存在一个重要的问题——节点所在的PC机内存资源有限(这里所说的工作节点指的是TaskTracker节点),执行任务时常 ...

  4. SQL Server Alwayson配置两个节点加共享文件夹仲裁见证

    标签:MSSQL/节点和共享文件夹多数 概述 之前讲过多数节点的仲裁配置,多数节点一般3个节点以上的奇数个节点:常见的是使用3个节点节点多了也是浪费因为Alwayson的只读路由只能利用到一个只读副本 ...

  5. OpenStack搭建Q版在控制节点上的环境准备(step2)

    接下来是只需要在控制节点上准备的环境配置.其中虽然NTP服务需要在所有节点上都安装,但NTP服务在控制节点和其他的节点上的配置是不同的,所以不把它放在step1的公共配置中进行准备.如下: 1.配置N ...

  6. NodePort 只能在node节点上访问,外部无法访问

    创建了一个NodePort类型的jenkins service,node port 30000,node节点ip为192.168.56.101, 在node节点上通过浏览器能正常访问http://19 ...

  7. OpenStack-Ocata版+CentOS7.6 云平台环境搭建 — 5.在控制节点上部署计算服务Nova

    计算服务Nova使用OpenStack Compute来托管和管理云计算系统. OpenStack Compute是基础架构即服务(IaaS)系统的主要部分. 主要模块用Python实现.OpenSt ...

  8. hdfs 如何实现退役节点快速下线(也就是退役节点上的数据块快速迁移)speed up decommission blocks removal

    以下是选择复制源节点的代码 代码总结: A=datanode上要复制block的Queue size与 target datanode没被选出之前待处理复制工作数之和. 1. 优先选择退役中的节点,因 ...

  9. 三、安装并配置Kubernetes Node节点

    1. 安装并配置Kubernetes Node节点 1.1 安装Kubernetes Node节点所需服务 yum -y install kubernetes   通过yum安装kubernetes服 ...

随机推荐

  1. vscode浏览器打开html vscode修改默认浏览器

    vscode怎么浏览器打开html预览?这里大家可以通过安装open in browser插件解决. 1.vscode怎么浏览器预览 1.点击拓展 2.输入open in browser,选择第一个 ...

  2. CUBA Studio 8.0 发布,企业级应用开发平台

    CUBA Platform 是一款开源且免费的企业级应用开发框架,已有将近10年的发展历史,由俄罗斯的 Haulmont  公司开发,CUBA Platform 近期将正式登陆中国,将提供中文网站.中 ...

  3. 百度前端技术学院-task2.18-2.19源码以及个人总结

    源码:http://yun.baidu.com/share/link?shareid=2310452098&uk=1997604551 1.感觉在写js的时候,最好先理清思路,先干什么,在干什 ...

  4. 并发编程—— LinkedTransferQueue

    1. 前言 Java 中总的算起来有 8 种阻塞队列. 我们分析了: 并发编程之 SynchronousQueue 核心源码分析 并发编程之 ConcurrentLinkedQueue 源码剖析 并发 ...

  5. [转]Magento2开发教程 - 如何向数据库添加新表

    本文转自:https://www.cnblogs.com/xz-src/p/6920365.html Magento 2具有特殊的机制,允许你创建数据库表,修改现有的,甚至添加一些数据到他们(如安装数 ...

  6. 在jQuery定义自己的扩展方法函数

    今早复习昨天的练习jQuery的DropDownList联动功能,如果想看回<jQuery实现DropDownList(MVC)>http://www.cnblogs.com/insus/ ...

  7. Java Service Wrapper--来自官网文件

    -----------------------------------------------------------------------------Java Service Wrapper Pr ...

  8. 简单的redis缓存操作(get、put)

    简单的redis缓存操作(get.put) 本文介绍简单的redis缓存操作,包括引入jedisjar包.配置redis.RedisDao需要的一些工具.向redis中放数据(put).从redis中 ...

  9. Oracle中UNION和ORDER BY共用方法

    问题 SQL语句中,UNION拼接两个单独的SQL时候,单独的SQL中加入ORDER BY会报错,ORDER BY只能放在句末. // 会报错的语句 SELECT S.S_ID AS ID,S.S_N ...

  10. 【代码笔记】iOS-计算时间差

    一,代码. - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the view, ...