搭建了很多次hadoop2.2.0了，尝试过很多不同的启动方法、配置参数、位置，其中涉及到到底要不要配置SSH免密码登录的问题

先是搞清楚为什么需要SSH免密码登录

SSH免密码登录操作步骤：

... ...

在hadoop2.2.0中有三种启动方式：

  1. 使用hadoop-daemon.sh和yarn-daemon.sh分别启动每一个守护进程；
  2. 使用start-dfs.sh和start-yarn.sh分开启动不同模块的所有进程；
  3. 使用start-all.sh启动所有模块所有进程。

三种启动方式在实验阶段都可以使用，只不过第一种更适合于生产环境。

第一种不需要配置SSH免密码登录，第二种和第三钟需要，为什么？

第一种是逐一启动每一台机器的每一个进程，就是说如果是完全分布式环境，有多少台机器我就要在每台机器上使用这个命令去启动对应的命令，如在namenode上启动namenode就要使用sbin/hadoop-daemon.sh start namenode这个命令，在datanode上启动datanode，就要使用sbin/hadoop-daemon.sh start datanode这个命令，对应的yarn进程启动也一样，不过是使用yaen-daemon.sh。

而第二种和第三种是一种只在namenode上使用就可以启动整个集群的方便方式，它的原理是根据配置文件启动namenode上的对应进程然后再通过SSH协议登录到slave上启动对应的进程。

说到这已经明白了，那么我以前的一种说法或者一种认识就是错的。

因为只需要namenode远程登录到slave中启动对应进程，所以所有slave只需要拥有namenode的公钥就行了，不需要拥有其他slave的公钥。

不过我引出一种猜想，反正namenode和slave的信息是在配置文件中读出来的，所以如果slave能SSH免密码登录namenode，那么是不是就可以在namenode上格式化文件系统，而在某台slave上启动集群？呵呵。

那其他地方不用SSH协议了吗？

答案是不用了，只有启动的时候才用。（我现在的认识）

其他如心跳等是用了RPC协议，web UI使用了HTTP协议，所以在hadoop中RPC协议、HTTP协议远比SSH协议重要的多

琐碎-到底要不要SSH免密码设置的更多相关文章

  1. ssh 免密码设置失败原因总结

    先复习一下设置ssh免密码操作的步骤: 进入主目录 cd 生成公钥 ssh-keygen -t rsa -P '' (注:最后是二个单引号,表示不设置密码) 然后分发公钥到目标机器 ssh-copy- ...

  2. 设置ssh免密码登录脚本（hadoop自动化部署脚本一）

    设置ssh免密码登录脚本(hadoop自动化部署脚本一) 设置ssh免密码登录脚本(飞谷云大数据自动化部署脚本一) 1.#!/bin/sh2.#important note:this script i ...

  3. 在CentOS/RHEL上设置SSH免密码登录

    本文会告诉你怎样在 CentOS/RHEL 上设置 SSH 免密码登录.自动登录配置好以后,你可以通过它使用 SSH (Secure Shell)和安全复制 (SCP)来移动文件. SSH 是开源的, ...

  4. ssh 免密码登陆设置不成功

    记一次centos6设置免密码登陆设置不成功的解决.自己挖的坑自己填. ssh 免密码登陆设置( 正常情况下是这样的,设置成功后登陆主机是不需要密码的) [root@master .ssh]# ssh ...

  5. 配置ssh免密码登录设置后还是提示需要输入密码

    工作之余搭建了一个集群测试,配置了ssh免密码登录以后  ,所有的ssh-copy-id 密钥也都分发了 ,各项配置也没有问题,但是使用ssh进行免密登录时,没有报错,但是要输入被ssh主机的登录密码 ...

  6. 如何配置ssh免密码登录

    [TOC] 如果你在管理一堆unix机器,每次登录都要输入密码是挺烦的事情,一方面为了安全我们一般不会将所有机器的密码都设置成一样,另一方面就算一样每次都输入一遍也很麻烦. 这种情况下我们一般是用ss ...

  7. ssh免密码登陆

    Ssh免密码登陆设置 准备工作:1.确保两个主机里没有id_rsa.pub和authorized_keys的文件(这两个文件会影响实验的结果)# find / -name id_rsa.pub可查看是 ...

  8. linux 配置ssh免密码登录

    1.确保主机名唯一 主机名修改方法: a.修改/etc/sysconfig/network,HOSTNAME=想要设置的主机名称 b.修改/etc/hosts,127.0.0.1   localhos ...

  9. 配置Ssh免密码登录

    配置Ssh免密码登录 一个master节点,两个client节点(client1.client2) 1．所有节点创建hadoop用户,并设置密码 以root账号登录: useradd hadoop p ...

随机推荐

  1. bzoj 2502 清理雪道（有源汇的上下界最小流）

    [题意] 有一个DAG,要求每条边必须经过一次,求最少经过次数. [思路] 有上下界的最小流.  边的下界为1,上界为无穷.构造可行流模型,先不加ts边跑一遍最大流,然后加上t->s的inf边跑 ...

  2. 用Gitolite 构建 Git 服务器

    转载 Gitolite 构建 Git 服务器 作者: 北京群英汇信息技术有限公司 网址: http://www.ossxp.com/ 版本: 0.1-1 日期: 2010-10-07 14:52:19 ...

  3. 1分钟内检查Linux服务器性能的10条命令

    如果你的Linux服务器突然负载暴增,告警短信快发爆你的手机,如何在最短时间内找出Linux性能问题所在?Netflix性能工程团队的Brendan Gregg写下了这篇博文,来看他们是怎样通过十条命 ...

  4. homework 08_2 C++11新特性作业之二

    ---恢复内容开始--- 1.使用Lambda表达式计算“hello world!”中字母e和i的数量 下面是代码: #include "stdafx.h" #include< ...

  5. JavaFX 2 Dialogs

    http://edu.makery.ch/blog/2012/10/30/javafx-2-dialogs/ ———————————————————————————————————————————— ...

  6. VIM技巧（1）

    VIM技巧(1) 替换 36s/^\(.* = \)entity.\(.*\)$/\1this.GetShowName("\2",\2); 删除空行 %g/^$/d %g/^\s* ...

  7. App启动加载广告页面思路

    需求 很多app(如淘宝.美团等)在启动图加载完毕后,还会显示几秒的广告,一般都有个跳过按钮可以跳过这个广告,有的app在点击广告页之后还会进入一个广告页面,点击返回进入首页.今天我们就来开发一个广告 ...

  8. POJ 3312 Mahershalalhashbaz, Nebuchadnezzar, and Billy Bob Benjamin Go to the Regionals (水题，贪心)

    题意:给定 n 个字符串,一个k,让你把它们分成每组k个,要保证每组中每个字符串长度与它们之和相差不能超2. 析:贪心策略就是长度相差最小的放上块. 代码如下: #pragma comment(lin ...

  9. c++未指定返回值

    int foo() { } foo返回的是随机数 函数的返回值在函数堆栈的参数后面,由一个指向寄存器的指针决定,函数返回时,调用者取指针取寄存器中的值作为返回值. 如果指定返回值,函数在返回前会将返回 ...

  10. radio select的 option使用

    1  radio的使用 <td id="sex">性别:              <input type="radio" name=&quo ...