Hadoop2.6.0 完全分布式搭建

1 搭建这个完全分布式的前提环境：

配置好了jdk环境

配置好了ssh免密码登录（详见我的另外一篇博客，专门说ssh免密码登录）

我这里设置了四台机器，一台做master，另外三台做slave，hosts配置如下

192.168.8.94    master
192.168.8.95    slave1
192.168.8.96    slave2
192.168.8.97    slave3

2 hadoop配置(以下的配置只在master上进行，配置好了hadoop之后，再发送到另外三台slave机器上，再配置环境变量就可以了)

首先把hadoop 2.6.0.tar.gz解压到/usr/local目录下

解压命令：sudo tar -xzvf  hadoop 2.6.0.tar.gz

然后把解压后的文件夹改名为hadoop

2.1 下面配置环境变量：

配置bashrc，命令 sudo vim ~/.bashrc

配置信息如下图：

修改好了之后，执行source命令生效环境变量，命令 source ~/.bashrc

配置/etc/profile

配置信息如下：

修改好了之后，执行source /etc/profile 命令生效

2.2 配置hadoop的配置文件

所有hadoop的配置文件都在/usr/local/hadoop/etc/hadoop

首先是slaves文件，把所有slave的主机名都写在里面，一行一个，就可以了（注意，要与hosts里配置的名字相一致）

slave1
slave2
slave3

hadoop-env.sh文件

之前这一行是被注释掉的，解除注释后，加上自己的jdk绝对路径。

yarn-env.sh文件，和hadoop-env.sh一样，配置jdk环境变量

core-site.xml 文件

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>

hdfs-site.xml文件

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>4</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

mapred-site.xml

这个配置文件本来是不存在的，但是有一个名为mapred-site.xml.template的模板文件，执行mv mapred-site.xml.template mapred-site.xml复制重命名一份就行了，然后做配置

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

yarn-site.xml文件

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>               
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>             
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>                 
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property> 

这样，hadoop的所有配置就做好了。

然后再把这个/usr/local/hadoop文件分别发送给另外三个slave，执行如下命令即可，不过要在目标文件夹设置好读写权限

比如在slave1上设置读写权限，在/usr/local目录下执行如下命令即可

sudo chown -R hadoop ./

其中hadoop是我的用户名，./表示当前目录

然后再master机器上执行如下命令就可以把hadoop文件发送到slave1上了，slave2和3方法相同

scp -r /usr/local/hadoop hadoop@slave1:/usr/local/

3 发送过去之后修改slave中几个配置文件

首先就是像master一样配置环境变量，前边写了，不赘述了。然后修改core-site.xml文件dfs.datanode.data.dir这一项，如下

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/data/node1</value>
</property>

在data后边又添加了一个目录叫node1，在slave2上添加的就叫nade2，以此类推，不这样配置会检测不出当前存在的某些虚拟机。

以上就完成了，然后就是通过命令启动master上的hadoop，slave上的某些进程就会启动，就ok了。