hadoop-2.6.0集群开发环境配置

hadoop-2.6.0集群开发环境配置

一．环境说明

1.1安装环境说明

本例中，操作系统为CentOS 6.6, JDK版本号为JDK 1.7，Hadoop版本号为Apache Hadoop 2.6.0

现有四台机器例如以下

10.25.100.130 node01    //namenode

10.25.100.131 node02    //datanode

10.25.100.132 node03    //datanode

10.25.100.133 node04    //datanode

二.安装jdk，此处使用jdk1.7。

1.换文件夹到/usr 文件夹下。  cd /usr

2.创建java  文件夹 ，  mkdir java

3.将jkd拷贝到/usr/java文件夹     cp jdk-7u75-linux-x64.tar.gz  /usr/java

4.解压jdk，  tar zxvf  jdk-7u75-linux-x64.tar.gz

5.配置环境变量   vi /etc/profile

添加记录  ：

export JAVA_HOME=/usr/java/jdk1.7.0_75

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$JAVA_HOME/bin

6.使环境变量生效   source /etc/profile

7.验证是否生效   java -version

[root@localhost java]# java -version

java version "1.7.0_75"

Java(TM) SE Runtime Environment (build 1.7.0_75-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

[root@localhost ~]#

三. 改动主机名称

1.

[root@localhost ~]# vi /etc/hosts     改动并添加后为

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 localhost

10.25.100.130 node01

10.25.100.131 node02

10.25.100.132 node03

10.25.100.133 node04

2.

[root@localhost ~]# vi /etc/sysconfig/network  将/etc/syscinfig/network 下的HOSTNAME改为node01

NETWORKING=yes

HOSTNAME=node01

3.再使用hostname命令指定一次

[root@localhost ~]# hostname node01

仅仅要又一次登入(重新启动)。命令提示字串就会改成[root@node01 ~]#

同理(1,2,3步骤)改动其他几台机器

四.  制作ssh无password登录

1.先分别制作每台主机的无password登录

[root@node01 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

[root@node01 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[root@node01 ~]# ssh node01

Last login: Wed Jul 29 18:52:44 2015 from localhost

[root@node01 ~]#

同理制作其他几台机器

2.在/root下 生成一个.ssh目录

[root@node01 ~]# cd .ssh/

[root@node01 .ssh]# ls

authorized_keys  id_dsa  id_dsa.pub  known_hosts

[root@node01 .ssh]#

3.然后将authorized_keys文件复制到其他几台机器的/root下

[root@node01 .ssh]# scp authorized_keys root@node02:~/

[root@node01 .ssh]# scp authorized_keys root@node03:~/

[root@node01 .ssh]# scp authorized_keys root@node04:~/

4.分别进入其他几台机器将拷贝过来的文件进行重定向

[root@node02 ~]# cat authorized_keys >> ~/.ssh/authorized_keys

[root@node03 ~]# cat authorized_keys >> ~/.ssh/authorized_keys

[root@node04 ~]# cat authorized_keys >> ~/.ssh/authorized_keys

5.此时，就完毕了ssh无password登录，是不是非常easy呢。我们能够做一个測试

在node01主机下登录node04

[root@node01 .ssh]# ssh node04

Last login: Wed Jul 29 18:48:13 2015 from 10.25.100.100

[root@node04 ~]#

6.假设退出连接输入exit

[root@node04 ~]# exit

logout

Connection to node04 closed.b

[root@node01 .ssh]#

五.hadoop安装  此操作在node01机上进行，用root用户

如今就開始了我们的hadoop搭建

1， 首先在/home下建立一个hadoop目录

将hadoop安装包hadoop-2.6.0.tar.gz复制到/home/hadoop下进行解压   tar zxvf hadoop-2.6.0.tar.gz

1． 改动配置文件 [root@node01 home]# cd hadoop/

[root@node01 hadoop]# cd hadoop-2.6.0/etc/hadoop/

3.改动配置文件 core-site.xml

[root@node01 hadoop]# vi core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://node01:9000</value>   //node01是主server机名

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-2.6</value>   /*防止后面须要每一次又一次格式化。这个文件夹不须要手动建立，执行时会自己主动建立*/

</property>

</configuration>

4.改动hdfs-site.xml

[root@node01 hadoop]# vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>     //datanode的节点个数，默认的为3个

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>node01:50090</value>

</property>

</configuration>

.配置执行环境  vi  hadoop-env.sh

[root@node01 hadoop]# vi hadoop-env.sh在最后加入以下一句话

export JAVA_HOME=/usr/java/jdk1.7.0_55

.配置slaves

[root@node01 hadoop]# vi slaves

改动文件中的内容为  datanode的节点

node02

node03

node04

7.拷贝安装，配置的hadoop到其他几台机器

进入/home文件夹下将文件夹/hadoop复制到其他几台机器的/home下

[root@node01 hadoop]# cd /home/

[root@node01 home]# scp -r hadoop root@node02:/home/

[root@node01 home]# scp -r hadoop root@node03:/home/

[root@node01 home]# scp -r hadoop root@node04:/home/

将三台机器的防火墙关闭掉：

service iptables stop

8.如今，你能够检查ssh到localhost没有password，这一步假设不运行，可能后面的结果Live Nodes会为0

[root@node01 home]# ssh loaclhost

9. 格式化文件系统

cd /home/hadoop/hadoop-2.6.0/

[root@node01 home]# cd hadoop/hadoop-2.6.0/

[root@node01 hadoop-2.6.0]# bin/hdfs namenode –format

10. 启动hadoop

[root@node01 hadoop-2.6.0]# sbin/start-dfs.sh

查看hadoop进程，验证是否启动成功

[root@node01 hadoop-2.6.0]# jps

3628 SecondaryNameNode

3435 NameNode

7108 Jps

说明已经启动，同理查看其它几台机器

11.查看集群执行情况，在windows下的浏览器上输入

http://node01:50070

12.关闭hadoop

[root@node01 hadoop-2.6.0]# sbin/stop-dfs.sh

查看hadoop进程，验证是否关闭成功

[root@node01 hadoop-2.6.0]# jps

7108 Jps

说明已经关闭。同理查看其它几台机器

至此一个简单的hadoop集群搭建hdfs就算完毕了。兴许学习还须要大家继续努力探索。在这就不再赘述。能够參考hadoop官方站点。http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html，Apache Hadoop 2.6.0安装学习文档教程，祝大家好运！