linux下hadoop2.6.1源码64位的编译

一、 前言

Apache官网上提供的hadoop本地库是32位的,如果我们的Linux服务器是64位的话,就会现问题。我们在64位服务器执行Hadoop命令时,则会报以下错误:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

为了解决上述问题,我们就需要自己编译一个64位的hadoop版本。

二、编译hadoop2.6.1需要的软件

  1. jdk 1.7

  2. gcc 4.4.5

  3. maven 3.3.3

  4. protobuf 2.5.0

  5. cmake 2.8.12.2

  6. ant 1.9.6

  7. finbugs(可选择)

注意:
1)在百度中搜索各个软件的名称,最好到官网上下载,下载软件一定注意软件的版本
2)finbugs不是编译所必须的软件,可以不下载。

三、编译软件的安装

  1.jdk的安装

  • 解压 tar -zxvf jdk-7u79-linux-x64.tar.gz
  • 配置环境变量,编辑/etc/profile文件
  • export JAVA_HOME=/opt/jdk1.7.0_25
  • export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • export PATH=$PATH:$JAVA_HOME/bin
  • source /etc/profile 刷新修改的环境变量
  • java -version  检查jdk是否安装成功。有以下版本号输出即为成功。

   

  2.gcc的安装

一般linux上会自带了gcc的安装,所以在安装以前,先检查一下服务器上是否已经安装了gcc。
     输入:gcc -v
     如果有以下输出,则这说明已经安装了gcc
     如机器上没有安装gcc,请自行安装

    

  3.maven的安装

  • 解压tar -zxvf apache-maven-3.3.3-bin.tar.gz
  • 配置环境变量,编辑/etc/profile
  • export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
  • source /etc/profile 刷新修改的环境变量
  • mvn -version  检查maven是否安装成功。有以下版本号输出即为成功。

  

  4.protobuf的安装

  • 解压tar -zxvf protobuf-2.5.0.tar.gz
  • 进入protobuf的解压目录。如:cd /opt/protobuf-2.5.0/
  • 在安装目录下,执行以下命令:
    • ./ configure
    • make
    • make check
    • make install
  • protoc --version(注意命令中是两个-) 检查protoc是否安装成功。有版本号输出即为成功。

  

  5.cmake的安装

  • tar -zxvf cmake-2.8.12.2.tar.gz
  • 进入cmake的解压目录。如:cd /opt/cmake-2.8.12.2/
  • 在安装目录下,执行以下命令:
    • ./ bootstrap
    • make
    • make install
  • cmake -version 检查cmake是否安装成功。有版本号输出即为成功。

  

6.ant的安装

  • 解压tar -zxvf apache-ant-1.9.6-bin.tar.gz
  • 编辑环境变量,编辑/etc/profile
  • export ANT_HOME=/opt/apache-ant-1.9.6
  • export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin
  • source /etc/profile 刷新修改的环境变量
  • ant -version检查ant是否安装成功。有以下版本号输出即为成功。

   

  7.安装必要的包

  • 安装 autotool

    • 执行命令:yum install autoconf automake libtool
  • 安装 openssl-devel
    • 执行命令:yum install openssl-devel

四、编译hadoop2.6.1

  • 在Apache官网上,下载hadoop-2.6.1的源码包hadoop-2.6.1-src.tar.gz。
  • 解压源码包tar -zxvf hadoop-2.6.1-src.tar.gz
  • 进入hadoop-2.6.1-src解压目录。cd /opt/hadoop-2.6.1-src/
  • 执行命令mvn clean package -Pdist,native -DskipTests -Dtar 进行编译。
  • 编译过程中,需要下载很多包,等待时间比较长。当看到hadoop各个项目都编译成功,即出现一系列的SUCCESS之后,即为编译成功。
  • 编译好的安装包hadoop-2.6.1.tar.gz,可以在文件目录hadoop-2.6.1-src/hadoop-dist/target/下找到。

五、注意事项

编译过程中需要下载安装包,有时候可能由于网络的原因,导致安装包下载不完整,而出现编译错误。

错误1:

Remote host closed connection during handshake: SSL peer shut down incorrectly.......

解决方案:需要重新新多编译几次即可通过。

错误2:

A required class was missing while executing XXXXXX,

[ERROR] strategy = org.codehaus.plexus.classworlds.strategy.SelfFirstStrategy

[ERROR]urls[0] =file:/root/.m2/repository/org/codehaus/mojo/jspc/jspc-maven-plugin/2.0-alpha-3/jspc-maven-plugin-2.0-alpha-3.jar

[ERROR]urls[1]=file:/root/.m2/repository/org/codehaus/mojo/jspc/jspc-compiler-tomcat5/2.0-alpha-3/jspc-compiler-tomcat5-2.0-alpha-3.jar [ERROR]urls[2]=file:/root/.m2/repository/tomcat/jasper-compiler/5.5.15/jasper-compiler-5.5.15.jar

[ERROR]urls[3]=file:/root/.m2/repository/javax/servlet/jsp-api/2.0/jsp-api-2.0.jar

[ERROR]urls[4]=file:/root/.m2/repository/ant/ant/1.6.5/ant-1.6.5.jar

[ERROR]urls[5]=file:/root/.m2/repository/tomcat/jasper-compiler-jdt/5.5.15/jasper-compiler-jdt-5.5.15.jar

........................

解决方案:则需要根据错误的提示,到相应目录下找到包,把包删除,然后再次重新编译。

    

linux下hadoop2.6.1源码64位的编译的更多相关文章

  1. linux下MySQL 5.6源码安装

    linux下MySQL 5.6源码安装 1.下载:当前mysql版本到了5.6.20 http://dev.mysql.com/downloads/mysql 选择Source Code 2.必要软件 ...

  2. Linux下USB suspend/resume源码分析【转】

    转自:http://blog.csdn.net/aaronychen/article/details/3928479 Linux下USB suspend/resume源码分析 Author:aaron ...

  3. 如何找到Linux下常用命令的源码

    Linux系统,常用命令的来源很多,有些命令是shell自带的,比如cd,通过执行help命令,可以查看当前系统所有的内置命令. 用type <cmd_name>来查看一个命令是否为内置命 ...

  4. linux下PostgreSQL数据库的源码安装

    实验环境>>>>>>>>>>>>>>>>>>操作系统:CentOS release 6.3 ...

  5. 【SystemTap】 Linux下安装使用SystemTap源码安装SystemTap

    转自 http://blog.csdn.net/zklth/article/details/6248558 文章 http://blog.csdn.net/zklth/archive/2010/09/ ...

  6. linux下cmake安装mysql 源码

    1.假设已经有mysql-5.6.21.tar.gz以及cmake-2.8.4.tar.gz两个源文件 (1)先安装cmake(mysql5.5以后是通过cmake来编译的) [root@ rhel5 ...

  7. 自己动手编译hadoop-2.5.2源码

    搭建环境:Centos x 6.5  64bit (后来:我才知道原来官网上发布的就是64位的,不过这个对我来说是个学习过程,对以后进行其他平台编译的时候有帮助!) 1.安装JDK 我这里用的是64位 ...

  8. 使用Maven将Hadoop2.2.0源码编译成Eclipse项目

    编译环境: OS:RHEL 6.3 x64 Maven:3.2.1 Eclipse:Juno SR2 Linux x64 libprotoc:2.5.0 JDK:1.7.0_51 x64 步骤: 1. ...

  9. Android拓展系列(11)--打造Windows下便携的Android源码阅读环境

    因为EXT和NTFS格式的差异,我一直对于windows下阅读Android源码感到不满. 前几天,想把最新的android5.0的源码下下来研究一下,而平时日常使用的又是windows环境,于是专门 ...

随机推荐

  1. 人工智能与智能系统3-> 机器人学3 | 移动机器人平台

    机器人学的基本工具已经了解完毕,现在开始了解移动机器人,这部分包括机器人平台.导航.定位. 所谓机器人平台就是指机器人的物理结构及其驱动方式.本文将学习两种典型移动机器人平台(四旋翼和轮式车)的运动与 ...

  2. 500行代码了解Mecached缓存客户端驱动原理

    原创不易,求分享.求一键三连 缓存一般是用来加速数据访问的效率,在获取数据耗时高的场景下使用缓存可以有效的提高数据获取的效率. 比如,先从memcached中获取数据,如果没有则查询mysql中的数据 ...

  3. Python语法进阶(1)- 进程与线程编程

    1.进程与多进程 1.1.什么是进程 进程就是程序执行的载体 什么叫多任务? 多任务就是操作系统可以同时运行多个任务.比如你一边在用浏览器学习,还一边在听音乐,,这就是多任务,至少同时有3个任务正在运 ...

  4. Solution -「洛谷 P4719」「模板」"动态 DP" & 动态树分治

    \(\mathcal{Description}\)   Link.   给定一棵 \(n\) 个结点的带权树,\(m\) 次单点点权修改,求出每次修改后的带权最大独立集.   \(n,m\le10^5 ...

  5. Solution -「CF 494C」Helping People

    \(\mathcal{Description}\)   Link.   给定序列 \(\{a_n\}\) 和 \(m\) 个操作,第 \(i\) 个操作有 \(p_i\) 的概率将 \([l_i,r_ ...

  6. Solution -「ZJOI 2019」「洛谷 P5326」开关

    \(\mathcal{Description}\)   Link.   有 \(n\) 个开关,初始时所有开关的状态为 \(0\).给定开关的目标状态 \(s_1,s_2,\cdots,s_n\).每 ...

  7. 【摸鱼神器】基于SSM风格的Java源代码生成器 单表生成 一对一、一对多、多对多连接查询生成

    一.序言 UCode Cms 是一款Maven版的Java源代码生成器,是快速构建项目的利器.代码生成器模块属于可拆卸模块,即按需引入.代码生成器生成SSM(Spring.SpringBoot.Myb ...

  8. MyBatis辅助功能点三:延迟加载

    延迟加载即先加载必需信息,然后再根据需要进一步加载信息的方式.实际应用如:常出现先查询表A,再根据表A的输出结果查询表B的情况.而有些时候,从A表查询出来的数据,只有一部分要查询表B.这时用延迟加载就 ...

  9. IE内核 播放 RTMP 视频

    VLC IE ActiveX 方式播放 需IE内核支持(IE或者双核浏览器). VLC 下载地址https://www.videolan.org/vlc/ 页面视频窗口 <div id=&quo ...

  10. DNS中的FQDN

    FQDN:(Fully Qualified Domain Name)全限定域名:同时带有主机名和域名的名称.(通过符号".") 例如:主机名是bigserver,域名是mycomp ...