自学Hadoop（一）

    主要是在自学一些根据以下两份文档来自己摸索。第二份文档是最后的时候，碰到一个问题的搜到的，因为觉得不错。所以放在这里。如果只是想要能跑起来的话，直接跟着这篇文章做。就可以。hadoop版本为2.0.5

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

http://www.cnblogs.com/JulyZhang/p/3156876.html

下面来列举我在安装过程中碰到的问题。

1）环境变量。

#Hadoop
export HADOOP_COMMON_HOME=/home/chandler/hadoop
export HADOOP_HDFS_HOME=/home/chandler/hadoop
export HADOOP_MAPRED_HOME=/home/chandler/hadoop
export HADOOP_YARN_HOME=$HADOOP_MAPRED_HOME
export HADOOP_CONF_DIR=/home/chandler/hadoop/conf
export YARN_CONF_DIR=$HADOOP_CONF_DIR
export PATH=$HADOOP_YARN_HOME/bin:$PATH

这是我添加的所有的环境变量。我现在也没办法确认是否多加或者少加了。这是在部署的时候一个一个实验过来的。在这里，有一个小技巧。就是有些东西你必须到脚本里面去找。然后用echo命令打出来，看看自己陪的对不对。

当然这也不是一个很好的办法。我也争取以后能够在官网上找到关于这些信息的表。

 

2）log。

在这里会有一个让人产生疑惑的地方。就是在console里面打出来的信息。说的是日志什么都输出到.out为扩展名。但是关于错误的log。都是产生在同名的。但是扩展名为.log的文件中。这个要注意的。

 

3）关于启动顺序。

这个估计和理解有关。我在尝试的时候，先入为主的以为，master和slave是独立启动的。master启动之后，然后再到slave的机器上去。启动slave的线程。这样比较容易扩展。

教程上，启动顺序是master上面启动，然后master通过ssh连接到slave上，自动启动slave的进程。

后来搜了一下，热插拔的方式其实也有，不过我还没有尝试过。