Hadoop 在ubuntu系统上的搭建[图解]

前言

　　本文介绍如何在Ubuntu Kylin操作系统上搭建Hadoop平台。

配置

　　1. 操作系统: Ubuntu Kylin 14.04

　　2. 编程语言: JDK 1.8

　　3. 通信协议: SSH

　　2. 云计算项目版本: Hadoop 1.2.1

第一步：安装最新版本的JDK (若已经安装过请忽略这一步)

　　1. 去官网下载JDK1.8并解压 (当前安装包为:jdk-8u25-linux-x64.gz)

　　2. 将解压后的安装包复制到 /usr/lib/jvm 目录下 (jvm目录需要自行创建)

　　3. 以管理员方式打开 /etc/profile 文件并在文件底部添加以下代码：

 #set Java Environment
 export JAVA_HOME=/usr/lib/jvm/jdk1..0_25
 export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
 export PATH="$JAVA_HOME/bin:$PATH"

　　4. 执行以下命令使配置文件立即生效：

 source /etc/profile

　　5. 执行以下命令验证JDK是否安装成功：

1 java -version

　　若显示以下信息表示安装完成：

　　 

第二步：配置SSH免密码登陆

　　1. 执行以下命令安装SSH：

1 sudo app-get install ssh

　　2. 检查用户目录下是不是有个名为.ssh的隐藏文件夹，没有的话就自己创建一个。

　　3. 执行以下命令配置SSH无密码登陆 (这几行代码的功能请参考SSH使用文档):

 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　　4. 执行以下命令验证SSH是否安装配置成功：

 ssh localhost

　　出现提示输入yes，若终端显示以下信息，表示SSH配置成功：

　　

第三步：安装并运行Hadoop

　　说明：Hadoop有三种运行方式 - 单机模式，伪分布式和完全分布式。其中，前两者主要用于程序的测试和调试，这里要讲的是伪分布式的配置，配置完全分布式的方法将在以后讲解。

　　1. 下载并解压最新版本的Hadoop到当前目录下 (当前安装包为:hadoop-1.2.1.tar.gz)

　　2. 进入conf子目录中，修改如下配置文件：

　　　　a. hadoop-env.sh (设置JAVA路径)

　　　　在末尾添加：

 export JAVA_HOME=/usr/lib/jvm/jdk1..0_25

　　　　b. core-site.xml (配置HDFS地址及端口号)

　　　　配置为:

 <?xml version="1.0"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 <!-- Put site-specific property overrides in this file. -->

 <configuration>
         <property>
                 <name>fs.default.name</name>
                 <value>hdfs://localhost:9000</value>
         </property>
 </configuration>

　　　　c. hdfs-site.xml (修改备份方式，单机版本需要将其改为1)

　　　　配置为:

 <?xml version="1.0"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 <!-- Put site-specific property overrides in this file. -->

 <configuration>
         <property>
                 <name>dfs.replication</name>
                 <value></value>
         </property>
 </configuration>

　　　　d. mapred-site.xml (设置JobTracker地址及端口)

　　　　配置为:

 <?xml version="1.0"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 <!-- Put site-specific property overrides in this file. -->

 <configuration>
         <property>
                 <name>mapred.job.tracker</name>
                 <value>localhost:</value>
         </property>
 </configuration>

　　3. 进入Hadoop文件夹执行以下命令以格式化Hadoop文件系统HDFS：

 bin/hadoop namenode -format

　　4. 执行以下命令以启动所有Hadoop进程：

 bin/start-all.sh

　　5. 验证Hadoop是否安装成功

　　　　a. 打开浏览器，输入网址 http://localhost:50030 以查看MapReduce的Web页面：

　　　　

　　　　b. 打开浏览器，输入网址 http://localhost:50070 以查看HDFS的Web页面：

　　　　

　　　　如果显示正常，那么Hadoop环境便搭建好了。

小结

　　1. 伪分布式的架构，机制和真实分布式其实是一样的，不过伪分布式中，Master和Slave都是一台机器。

　　2. 关于真实分布式环境的搭建，将在以后介绍。到时会在虚拟机上组建一个虚拟网络，跑真·分布式程序。