安装和配置hadoop集群步骤

hadoop集群的安装步骤和配置

hadoop是由java语言编写的，首先我们肯定要在电脑中安装jdk，配置好jdk的环境，接下来就是安装hadoop集群的步骤了，在安装之前需要创建hadoop用户组和用户，另外我此时使用的是一主（master）三从（slave1、slave2、slave3）。

1、 创建Hadoop组和hadoop用户

1. [root@master ~]# groupadd hadoop
2. [root@master ~]# useradd -g hadoop hadoop

2、 上传、解压hadoop压缩包和重名解压后的目录

切换到hadoop用户：

1. [root@master ~]# su – hadoop

上传hadoop安装包：

解压hadoop安装包和重命名解压目录：

1. [hadoop@master ~]$ tar -zxvf hadoop-1.0.4.tar.gz
2. [hadoop@master ~]$ mv hadoop-1.0.4 hadoop

3、 配置hadoop的的配置文件

进入hadoop的conf目录：

1. [hadoop@master ~]$ cd hadoop
2. [hadoop@master hadoop]$ cd conf
3. [hadoop@master conf]$
4. [hadoop@master conf]$ ll
5. 总用量 76
6. -rw-rw-r--. 1 hadoop hadoop 7457 10月  3 2012 capacity-scheduler.xml
7. -rw-rw-r--. 1 hadoop hadoop  535 10月  3 2012 configuration.xsl
8. -rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 core-site.xml
9. -rw-rw-r--. 1 hadoop hadoop  327 10月  3 2012 fair-scheduler.xml
10. -rw-rw-r--. 1 hadoop hadoop 2237 10月  3 2012 hadoop-env.sh
11. -rw-rw-r--. 1 hadoop hadoop 1488 10月  3 2012 hadoop-metrics2.properties
12. -rw-rw-r--. 1 hadoop hadoop 4644 10月  3 2012 hadoop-policy.xml
13. -rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 hdfs-site.xml
14. -rw-rw-r--. 1 hadoop hadoop 4441 10月  3 2012 log4j.properties
15. -rw-rw-r--. 1 hadoop hadoop 2033 10月  3 2012 mapred-queue-acls.xml
16. -rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 mapred-site.xml
17. -rw-rw-r--. 1 hadoop hadoop   10 10月  3 2012 masters
18. -rw-rw-r--. 1 hadoop hadoop   10 10月  3 2012 slaves
19. -rw-rw-r--. 1 hadoop hadoop 1243 10月  3 2012 ssl-client.xml.example
20. -rw-rw-r--. 1 hadoop hadoop 1195 10月  3 2012 ssl-server.xml.example
21. -rw-rw-r--. 1 hadoop hadoop  382 10月  3 2012 taskcontroller.cfg

这里的配置文件有core-site.xml,hadoop-env.sh,hdfs-site.xml,mapred-site.xml,masters,slaves都需要修改，下面是这几个配置文件的内容：

core-site.xml配置文件的内容：

1. <?xml version="1.0"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <!-- Put site-specific property overrides in this file. -->
4. <configuration>
5. <property>
6. <name>fs.default.name</name>#++++hdfs的默认路径
7. <value>hdfs://master:9000</value>
8. </property>
9. </configuration>

hadoop-env.sh配置文件最后面添加的内容：

1. export JAVA_HOME=/usr/jdk #++++jdk的环境变量++++#

hdfs-site.xml配置文件的内容：

1. <?xml version="1.0"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <!-- Put site-specific property overrides in this file. -->
4. <configuration>
5. <property>
6. <name>dfs.replication</name>#++++hdfs的备份数
7. <value>3</value>
8. </property>
9. <property>
10. <name>dfs.name.dir</name>  #++++namenode的文件存储路径，包括edites、fsimage、fstime、VERSION
11. <value>/home/hadoop/hadoop/namenode/</value>
12. </property>
13. <property>
14. <name>dfs.data.dir</name>  #++++datanode的存储路径，包含数据和数据的原信息。
15. <value>/home/hadoop/hadoop/data/</value>
16. </property>
17. <property>
18. <name>hadoop.tmp.dir</name>  #++++mapreduce计算的中间结果的临时存储文件夹
19. <value>/home/hadoop/hadoop/tmp/</value>
20. </property>
21. <property>
22. <name>dfs.permissions</name>#++++认证策略
23. <value>false</value>
24. </property>
25. </configuration>

mapred-site.xml配置文件的内容：

1. <?xml version="1.0"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <!-- Put site-specific property overrides in this file. -->
4. <configuration>
5. <property>
6. <name>mapred.job.tracker</name>  #++++jobtracker的ip和端口
7. <value>master:9001</value>
8. </property>
9. <property>
10. <name>mapred.tasktracker.map.tasks.maximum</name>  #++++maptask的最大数
11. <value>2</value>
12. </property>
13. <property>
14. <name>mapred.tasktracker.reduce.tasks.maximum</name>  #++++reducetask的最大数
15. <value>2</value>
16. </property>
17. </configuration>

masters配置文件的内容：

1. master
2. #SecondaryNameNode的位置，可以配置多个

slaves配置文件的内容：

1. slave1#++++slave的ip或者域名
2. slave2
3. slave3

说明：这些配置文件都是事先配置好的，只要上传到conf目录下，替换之前的文件即可，采用这种方式是因为在Linux命令行下直接打开文件在里面输入内容更容易错并且不方便。这里还有一点需要注意，上面配置文件中存在的汉字是用于注释的，实际上传的文件是没有注释的，因为不支持汉字。

上传配置文件过程：

4、 到这里hadoop就安装结束了，接下来就是将安装完成的hadoop发送到其他的虚拟机中。

1. [hadoop@master conf]$ scp -r /home/hadoop/hadoop hadoop@slave1:/home/hadoop
2. [hadoop@master conf]$ scp -r /home/hadoop/hadoop hadoop@slave2:/home/hadoop
3. [hadoop@master conf]$ scp -r /home/hadoop/hadoop hadoop@slave3:/home/hadoop

向另外三台机器发送hadoop，记住这里发送到另外一台机器的hadoop用户下，而非root用户下。发送完成，就意味着三台机器的hadoop都已经安装完成。

5、 安装ssh

为了在master机器中启动集群中所有的hadoop，这里安装ssh是提供启动方便。

将slave1、slave2、slave3三台机器都切换到hadoop用户；

在slave1、slave2、slave3三台机器中执行ssh localhost，是为了生成.ssh目录，这个目录默认是隐藏的需要使用ll –a命令查看。

1. [hadoop@slave1 ~]$ ll -a
2. 总用量 32
3. drwx------.  5 hadoop hadoop 4096 11月 20 23:09 .
4. drwxr-xr-x.  3 root   root   4096 11月 20 22:20 ..
5. -rw-r--r--.  1 hadoop hadoop   18 7月  18 2013 .bash_logout
6. -rw-r--r--.  1 hadoop hadoop  176 7月  18 2013 .bash_profile
7. -rw-r--r--.  1 hadoop hadoop  124 7月  18 2013 .bashrc
8. drwxr-xr-x.  2 hadoop hadoop 4096 11月 12 2010 .gnome2
9. drwxr-xr-x. 14 hadoop hadoop 4096 11月 20 23:03 hadoop
10. drwx------.  2 hadoop hadoop 4096 11月 20 23:09 .ssh

在master机器中生成公钥和私钥：

进入.ssh目录，移除里面的known_hosts文件

1. [hadoop@master ~]$ cd .ssh
2. [hadoop@master .ssh]$ ll
3. 总用量 4
4. -rw-r--r--. 1 hadoop hadoop 1209 11月 20 23:05 known_hosts
5. [hadoop@master .ssh]$
6. [hadoop@master .ssh]$ rm -rf known_hosts

生成公钥和私钥：

1. [hadoop@master .ssh]$ ssh-keygen -t rsa

出现需要输入内容的对话，一律回车，只到生成结束

把公钥放到认证列表中：

1. [hadoop@master .ssh]$ cat id_rsa.pub >> authorized_keys

此时.ssh目录下回多出一个文件authorized_keys

给authorized_keys文件授权：

1. [hadoop@master .ssh]$ chmod 600 authorized_keys

将authorized_keys文件发送到slave1、slave2、slave3的hadoop用户下的.ssh目录下：

1. [hadoop@master .ssh]$ scp ~/.ssh/authorized_keys hadoop@slave1:~/.ssh/
2. [hadoop@master .ssh]$ scp ~/.ssh/authorized_keys hadoop@slave2:~/.ssh/
3. [hadoop@master .ssh]$ scp ~/.ssh/authorized_keys hadoop@slave3:~/.ssh/

至此ssh就安装成功了。

6、 启动hadoop，这里要注意，要使用hadoop用户，不能用root用户。

格式化集群：

1. [hadoop@master .ssh]$ hadoop namenode –format

启动集群：

1. [hadoop@master ~]$ start-all.sh
2. Warning: $HADOOP_HOME is deprecated.
3. starting namenode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.out
4. slave3: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave3.out
5. slave2: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave2.out
6. slave1: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave1.out
7. The authenticity of host 'master (192.168.56.200)' can't be established.
8. RSA key fingerprint is 63:e7:e2:e1:ae:bb:59:f8:ec:e8:23:e0:22:3e:ac:16.
9. Are you sure you want to continue connecting (yes/no)? yes
10. master: Warning: Permanently added 'master,192.168.56.200' (RSA) to the list of known hosts.
11. master: starting secondarynamenode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-secondarynamenode-master.out
12. starting jobtracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-jobtracker-master.out
13. slave2: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave2.out
14. slave1: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave1.out
15. slave3: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave3.out

这样集群就启动成功了。

7、 jps命令测试是否安装成功

master机器：

1. [hadoop@master ~]$ jps
2. 2372 JobTracker
3. 2298 SecondaryNameNode
4. 2128 NameNode
5. 2471 Jps

slave1机器：

1. [hadoop@slave1 ~]$ jps
2. 2185 Jps
3. 2019 DataNode
4. 2106 TaskTracker

slave2机器：

1. [hadoop@slave2 ~]$ jps
2. 2101 TaskTracker
3. 2183 Jps
4. 2013 DataNode

slave3机器：

1. [hadoop@slave3 ~]$ jps
2. 2115 TaskTracker
3. 2211 Jps
4. 2041 DataNode

至此hadoop集群的安装和启动就完成了，启动集群只需要在master机器上执行start-all.sh就可以。停止集群使用stop-all.sh命令。