Hadoop源码编译过程

一、          
为什么要编译Hadoop源码

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。

native目录是本地库，位于hadoop-2.x.x/lib/native目录下，仅支持linux和unix操作系统。

hadoop中的zlib和gzip模块会加载本地库，如果加载失败，会提示：

16/07/06 12:18:24 WARN util.NativeCodeLoader:
Unable to load native-hadoop library for your platform... using builtin-java
classes where applicable

可以在core-site.xml中配置hadoop.native.lib值是否使用本地库，默认值为true。

官方提供的hadoop-2.x版本中，native文件都是32位编译的，在实际使用64位环境中，为了能让Hadoop更高效地运行，最好还是在本地编译Hadoop源码，用本地编译好的本地库（native目录）替换官方安装包里自带的本地库。

二、          
编译源码的环境要求

1、   必须在Linux下进行

2、   Java JDK必须为1.6以上

3、   Maven 版本必须为3.0以上

4、   安装Findbugs插件，版本1.3.9

5、   安装CMake编译工具，版本2.6

6、   安装zlib devel

7、   安装openssl devel

8、   编译时必须可以连接互联网，因为需要yum下载软件。

三、          
用到的软件包

1、   apache-maven-3.0.5-bin.tar.gz

2、   cmd_markdown_win64.zip

3、   findbugs-1.3.9.tar.gz

4、   hadoop-2.5.0-src.tar.gz

5、   jdk-7u67-linux-x64.tar.gz

6、   native-2.5.0.tar.gz

7、   protobuf-2.5.0.tar.gz

四、          
Hadoop2.x源码编译步骤

1、   解压Hadoop源码安装包

(1)    [hadoop@bigdata-senior01 sofeware]$ tar -zxf 
hadoop-2.5.0-src.tar.gz -C /opt/modules/

(2)    查看是否已经解压成功

[hadoop@bigdata-senior01
sofeware]$ ll /opt/modules/

total 12

drwxr-xr-x. 11
hadoop hadoop 4096 Jul  4 17:48 hadoop-2.5.0

drwxr-xr-x 
15 hadoop hadoop 4096 Aug  7  2014 hadoop-2.5.0-src

2、   解压JDK

(1)    [hadoop@bigdata-senior01 sofeware]$ tar -zxf jdk-7u67-linux-x64.tar.gz
-C /opt/modules/

(2)    查看是否已经解压成功

[hadoop@bigdata-senior01
sofeware]$ ll /opt/modules/

total 12

drwxr-xr-x. 11
hadoop hadoop 4096 Jul  4 17:48 hadoop-2.5.0

drwxr-xr-x 
15 hadoop hadoop 4096 Aug  7  2014 hadoop-2.5.0-src

drwxr-xr-x. 
8 hadoop hadoop 4096 Jul 26  2014 jdk1.7.0_67

3、   root用户配置Java
JDK环境变量

(1)    root用户进入/etc/profile文件

[root@bigdata-senior01
sofeware]$ vim /etc/profile

(2)    配置JDK_HOME和PATH

export
JAVA_HOME="/opt/modules/jdk1.7.0_67"

export
PATH=$JAVA_HOME/bin:$PATH

(3)    生效配置文件

[root@bigdata-senior01
sofeware]$ source /etc/profile

(4)    确认Jave配置成功

[root@bigdata-senior01
sofeware]$ java -version

java version
"1.7.0_67"

Java(TM) SE
Runtime Environment (build 1.7.0_67-b01)

Java HotSpot(TM)
64-Bit Server VM (build 24.65-b04, mixed mode)

4、   root用户安装Maven

(1)    Apache Maven，是一个软件项目管理及自动构建工具。Maven 完成项目生命周期的所有阶段，包括验证、代码生成、编译、测试、打包、集成测试、安装、部署、以及项目网站创建和部署。maven的好处在于可以将项目过程规范化、自动化、高效化以及强大的可扩展性。

对于需要的依赖，Maven可以从配置的远程仓库里按需自动下载到本地仓库

(2)    解压Maven

[hadoop@bigdata-senior01
sofeware]$ tar -zxf apache-maven-3.0.5-bin.tar.gz -C /opt/modules/

(3)    配置/etc/profile文件

export
MAVEN_HOME="/opt/modules/apache-maven-3.0.5"

export
PATH=$MAVEN_HOME/bin:$PATH

(4)    生效配置文件

[root@bigdata-senior01
sofeware]# source /etc/profile

(5)    确认Maven配置成功

[root@bigdata-senior01
sofeware]# mvn -version

Apache Maven
3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)

Maven home:
/opt/modules/apache-maven-3.0.5

Java version:
1.7.0_67, vendor: Oracle Corporation

Java home:
/opt/modules/jdk1.7.0_67/jre

Default locale:
en_US, platform encoding: UTF-8

OS name:
"linux", version: "2.6.32-504.el6.x86_64", arch:
"amd64", family: "unix"

5、   root用户安装gcc/gcc-c++/make

[root@bigdata-senior01
sofeware]# yum -y install gcc gcc-c++

接下来yum自动安装，直到安装成功会显示Complete!

6、   普通用户下安装protobuf

(1)    [hadoop@bigdata-senior01 sofeware]$ tar -zxf protobuf-2.5.0.tar.gz
-C /opt/modules/

(2)    [hadoop@bigdata-senior01 sofeware]$
/opt/modules/protobuf-2.5.0/configure --prefix=/usr/local/protoc

(3)    [hadoop@bigdata-senior01 sofeware]$ cd /opt/modules/protobuf-2.5.0

(4)    [root@bigdata-senior01 protobuf-2.5.0]# make

(5)    [root@bigdata-senior01 protobuf-2.5.0]# make install

(6)    配置/etc/profile

export
PROTOBUF_HOME="/usr/local/protoc"

export
PATH=$PROTOBUF_HOME/bin:$PATH

(7)    生效配置文件

[root@bigdata-senior01
sofeware]# source /etc/profile

(8)    确认配置成功

[root@bigdata-senior01
protobuf-2.5.0]# protoc --version

libprotoc 2.5.0

7、   root用户下下载安装CMake、openssl、ncurses

(1)    安装Cmake

[root@bigdata-senior01
protobuf-2.5.0]# yum -y install cmake

(2)    安装openssl

[root@bigdata-senior01
protobuf-2.5.0]# yum install openssl-devel

(3)    安装ncurses

[root@bigdata-senior01
protobuf-2.5.0]# yum -y install ncurses-devel

8、   添加maven镜像

(1)    编辑maven配置文件settings.xml

(2)    添加镜像

<mirror>

<id>nexus-osc</id>

<mirrorOf>*</mirrorOf>

<name>Nexus osc</name>

<url>http://maven.oschina.net/content/groups/public</url>

</mirror>

9、   编译Hadoop源码

(1)    切换到普通用户：[root@bigdata-senior01
protobuf-2.5.0]# su hadoop

(2)    进入hadoop源码目录：[hadoop@bigdata-senior01
protobuf-2.5.0]$ cd /opt/modules/hadoop-2.5.0-src/

(3)    执行编译，编译过程中需要从yum仓库下载依赖包，需要一段时间

[hadoop@bigdata-senior01
hadoop-2.5.0-src]$ mvn package
–DskipTests –Pdist,native

(4)   
执行过程中如果报错，发现是下载依赖失败，可以换个apache的maven镜像地址后能够正常下载。

https://repo.maven.apache.org/maven2

10、          
编译后，将native目录替换之前安装的hadoop lib 目录下的native目录。

(1)    将编译后的native目录覆盖本地原有的native目录

[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ cp -R
/opt/modules/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0/lib/native/*  
/opt/modules/hadoop-2.5.0/lib/native/

(2)    进入${HADOOP_HOME}目录启动HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0-src]$ cd ${HADOOP_HOME}

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start
namenode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start
datanode

(3)    执行dfs命令就不会有警告了

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /

来自为知笔记(Wiz)

附件列表