菩提树下的杨过.Net 的《hadoop 2.6全分布安装》补充版

对菩提树下的杨过.Net的这篇博客《hadoop 2.6全分布安装》，我真是佩服的五体投地，我第一次见过教程能写的这么言简意赅，但是又能比较准确表述每一步做法的，这篇博客主要就是在他的基础上自己遇到的一些问题或者疑惑的罗列或者总结，方便自己使用或者其他人参考。

1、在他博客的第1.2小节修改hosts文件，此处不是只修改master，而是应该修改所有的主从节点，即master、slave01、slave02...

sudo vi /etc/hosts

192.168.187.102 master

192.168.187.103 slave01

192.168.187.104 slave02

2、安装oracle的JDK之前卸载CentOS自带的openJDK方法

　　先查看 rpm -qa | grep java  

 　　　　[hadoop@slave02 ~]$ rpm -qa|grep jdk

　　　　　　java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

　　　　　　java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64

　　　　　　java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

　　　　　　java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

　　　　[hadoop@slave02 ~]$ java -version

 　　　　　　openjdk version "1.8.0_65"

 　　　　　　OpenJDK Runtime Environment (build 1.8.0_65-b17)

 　　　　　　OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)  

　　卸载：

    　　sudo rpm -e --nodeps java-1.8.0-openjdk

   　　　 ……分别卸载上面所有的java相关的

　　最后的效果

　　　　[hadoop@slave02 ~]$ java -v

　　　　bash: java: command not found...

 3、master: Error: JAVA_HOME is not set and could not be found.问题解决

　　这个我之前单独写了一点。就是在hadoop-env.sh中，如果对于JAVA_HOME使用了其相对路径，会出现上述的这个错误。

　　解决办法是将其中的JAVA_HOME的相对路径换成绝对路径，同时HADOOP_HOME最好也适用绝对路径。

4、在配置好相关文件到下述部分时，

$HADOOP_HOME/sbin/start-dfs.sh

启动完成后，输入jps查看进程，如果看到以下二个进程：

5161 SecondaryNameNode

4989 NameNode

表示master节点基本ok了

再输入$HADOOP_HOME/sbin/start-yarn.sh ，完成后，再输入jps查看进程

5161 SecondaryNameNode

5320 ResourceManager

4989 NameNode

如果看到这3个进程，表示yarn也ok了

　　这里面大家可能会遇到一个问题就是如下错误：cat: /opt/module/hadoop-2.7.2/etc/hadoop/slaves: No such file or directory

　　　　

　　这个很好理解，因为之前的那个slaves被你mv slaves slaves.bak掉了，当然就找不到slaves文件了。后续步骤做完就行了，但是此处要注意上述橙色字体的都有启动起来。

 

参考文献：还有一个参考文献是后期看到追加上来的，ubuntu + hadoop2.5.2分布式环境配置
（感觉该参考文献很不错的）