Linux下搭建hadoop开发环境-超详细

先决条件：开发机器需要联网

已安装java

已安装Desktop组

1、上传安装软件到linux上：

2、安装maven，用于管理项目依赖包：以hadoop用户安装apache-maven-3.0.5-bin.zip。

--解压安装文件到相应目录下：

[root@db07 opt]# chown -R hadoop:hadoop /opt/*

[hadoop@db07 opt]# mkdir bd_dev

[hadoop@db07 opt]# cd software/

[hadoop@db07 software]# unzip apache-maven-3.0.5-bin.zip

[hadoop@db07 software]# mv apache-maven-3.0.5 /opt/bd_dev/maven-3.0.5

[hadoop@db07 software]# cd /opt/bd_dev/maven-3.0.5/

--配置环境变量（sudo权限执行以下脚本）：

echo "export MAVEN_HOME=/opt/bd_dev/maven-3.0.5"  >> /etc/profile

echo "export PATH=$MAVEN_HOME/bin:$PATH"  >> /etc/profile

source /etc/profile

检查配置情况：

mvn -version

配置maven仓库：

[hadoop@db07 ~]$ mkdir ~/.m2/

[hadoop@db07 software]$ tar -zxf repository.tar.gz -C ~/.m2/

[hadoop@db07 .m2]$ cp /opt/bd_dev/maven-3.0.5/conf/settings.xml .

[hadoop@db07 .m2]$ ll

total 16

drwxrwxr-x 56 hadoop hadoop  4096 Jun 24  2015 repository

-rw-r--r--  1 hadoop hadoop 10224 Apr 19 13:35 settings.xml

3、安装eclipse：hadoop用户安装

[hadoop@db07 software]$ tar -zxf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz -C /opt/bd_dev/

[hadoop@db07 software]$ cd /opt/bd_dev/eclipse/

[hadoop@db07 eclipse]$ ./eclipse                 --启动eclipse，然后图形界面配置eclipse

1）启动后在下图界面配置workspace工作目录，我把它放在/opt/bd_dev/workspace目录下，因为测试环境要部署应用比较多，所以我放置在同一目录下，方便管理。

2）启动后界面如下图所示：

3）因为eclipse启动要加载很多插件，所以部署后首先去掉无用插件：

点击Window->preferences，打开下图界面，并且在搜索栏输入start，选择startup and shutdown筛选出启动配置项，按图上指示操作后点击ok应用配置。

4、配置eclipse快捷键（Context Assist、Word Completion）：在Window->preferences界面下。

5、配置eclipse与maven集成插件：指定maven目录为我们自己安装的目录。

6、至此CentOS 6.5上hadoop开发环境搭建完成了，下一步就要创建工程，如下图所示：

默认，next：

默认，next：

配置group id、artifact id、version三要素，然后finash完成工程创建：

7、创建开发配置文件目录（sources folder）：

选择文件位置及配置文件名称，finash完成source floder创建：

以下内容配置sreources目录编译目标目录：

选择source->hadoop.hdfs/src/main/resources->output folder:hadoop.hdfs/target/classes,点击edit选择目标目录target/classes，点击ok完成工程创建。