分布式配置hadoop2.5.0 2.6.x

1. sudo vim /etc/hostname

　　在master的机器上，改成     master

　　在slave上写  slave01,02,03......

　　配置好后重启。

2. sudo vim /etc/hosts    （此处最好改成内网中服务器的真实ip,不要用浮动ip，否则会出现“Problem binding to [master:9000] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException”错误）

　　192.168.1.121 Master

　　192.168.1.122 Slave1

3.ping master     ping slave

4.ssh无密码登录。

　　这个操作是要让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。

　　首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）：

1. cd ~/.ssh        # 如果没有该目录，先执行一次ssh localhost
2. rm ./id_rsa*    # 删除之前生成的公匙（如果有）
3. ssh-keygen -t rsa     # 一直按回车就可以

　　让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：

　　cat ./id_rsa.pub >> ./authorized_keys

　　完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到 Slave1 节点：

　　scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/  （由于服务器适用密钥登陆，没有密码，此时需要用xftp工具，把id_rsa.pub传送到各个slave节点）

　　接着在 Slave1 节点上，将 ssh 公匙加入授权：

1. mkdir ~/.ssh                 # 如果不存在该文件夹需先创建，若已存在则忽略
2. cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
3. rm ~/id_rsa.pub                   # 用完就可以删掉了

　　如果有其他 Slave 节点，也要执行将 Master 公匙传输到 Slave 节点、在 Slave 节点上加入授权这两步。

　　这样，在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了，可在 Master 节点上执行如下命令进行检验

　　ssh Slave1

5.配置集群环境

　　

　　　　集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

　　1, 文件 slaves，将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，也可以删掉，让 Master 节点仅作为 NameNode 使用。

　　本教程让 Master 节点仅作为 NameNode 使用，因此将文件中原来的 localhost 删除，只添加一行内容：Slave1。

　　2.文件 core-site.xml 改为下面的配置：

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　<value>hdfs://Master:9000</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　<value>file:/usr/local/hadoop/tmp</value>
　　　　　　　　<description>Abase for other temporary directories.</description>
　　　　　　</property>
　　　　</configuration>

　　3.件 hdfs-site.xml，dfs.replication 一般设为 3，但我们只有一个 Slave 节点，所以 dfs.replication 的值还是设为 1：　

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>dfs.namenode.secondary.http-address</name>
　　　　　　　　<value>Master:50090</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.replication</name>
　　　　　　　　<value>1</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.namenode.name.dir</name>
　　　　　　　　<value>file:/usr/local/hadoop/tmp/dfs/name</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.datanode.data.dir</name>
　　　　　　　　<value>file:/usr/local/hadoop/tmp/dfs/data</value>
　　　　　　</property>
　　　　</configuration>

　　4。文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>mapreduce.framework.name</name>
　　　　　　　　<value>yarn</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>mapreduce.jobhistory.address</name>
　　　　　　　　<value>Master:10020</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>mapreduce.jobhistory.webapp.address</name>
　　　　　　　　<value>Master:19888</value>
　　　　　　</property>
　　　　</configuration>

　　5.文件 yarn-site.xml：

　　　　<configuration>

　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.hostname</name>
　　　　　　　　<value>Master</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　　　<value>mapreduce_shuffle</value>
　　　　　　</property>
　　　　</configuration>

　　6.配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行：

　　　　cd /usr/local

　　　　sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
　　　　sudo rm -r ./hadoop/logs/* # 删除日志文件
　　　　tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制
　　　　cd ~
　　　　scp ./hadoop.master.tar.gz Slave1:/home/hadoop

　　在 Slave1 节点上执行：

　　　　sudo rm -r /usr/local/hadoop # 删掉旧的（如果存在）

　　　　sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
　　　　sudo chown -R hadoop /usr/local/hadoop

　　同样，如果有其他 Slave 节点，也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。首次启动需要先在 Master 节点执行 NameNode 的格式化：

　　　　hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

　　接着可以启动 hadoop 了，启动需要在 Master 节点上进行：

1. start-dfs.sh
2. start-yarn.sh
3. mr-jobhistory-daemon.sh start historyserver

　　　通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，在 Slave 节点可以看到 DataNode 和 NodeManager 进程。