64bit Centos6.4编hadoop-2.5.1

 

1、说明

a)       因为从apache下载下来的tar.gz包是用32 bit编译的,全部假设用Linux 64作为hadoop的平台,将会出现一些问题,所以须要手动的编译成64 bit

2、软件准备

   a)       JDK jdk1.7.0_51
b) Hadoophardoop-2.5.1-src.tar.gz
c) Maven apache-maven-3.0.5-bin.zip
d) Protobufprotobuf-2.5.0.tar.gz

3、编译环境要求

   a)       Centos64 bit
b) JDK1.6+
c) Maven3.0 or later
d) ProtocolBuffer2.5.0
e) CMake 2.6 or newer (if compilingnative code)
f) Zlib devel (if compiling native code)
g) openssldevel ( if compiling native hadoop-pipes )

4、环境安装

a)  JDK

下载jdk-7u51-linux-x64.tar.gz(http://yunpan.cn/cAfDyMykH4RyX(提取码:540f))

解压到/opt/soft/jdk1.7.0_51

编辑/etc/profile

在/etc/profile里面添加

   #set javaenvironment
JAVA_HOME=/opt/soft/jdk1.7.0_51
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH

更新配置文件source /etc/profile

检查java是否安装正确 java –version

b)  安装必要环境

   yum install -y g++ gcc gcc-c++ autoconf automake libtoolcmake zliblg-dev pkg-conf libssl-dev openssh-client make mcurses-devel

c)  安装protobuf

下载protobuf-2.5.0.tar.gz(http://yunpan.cn/cAfDmbdZrM7WF (提取码:7678))

解压到/opt/soft/protobuf-2.5.0

   cd protobuf-2.5.0
./configure --prefix=/usr/local/protoc/
make
make install

编辑/etc/profile

在/etc/profile里面添加

   exportPATH=.:/usr/local/protoc/bin:$PATH

更新配置文件source /etc/profile

验证 protoc –version    libprotoc 2.5.0

d)  安装Maven

下载apache-maven-3.0.5-bin.zip(http://yunpan.cn/cAfDFwyuZB3Dt(提取码:cdd8))

解压到/opt/soft/apache-maven-3.0.5

编辑/etc/profile

在/etc/profile里面添加

   export MAVEN_HOME=/opt/soft/apache-maven-3.0.5
export PATH=.:$MAVEN_HOME/bin:$PATH

更新配置文件source /etc/profile

验证 mvn -version

5、编译Hadoop

cd /opt/soft/hadoop-2.5.1-src
mvn package –DskipTests –Pdist,native

当全部编译完毕出现BUILD SUCCESS

编译好多hadoop在/opt/soft/hadoop-2.5.1-src/hadoop-dist/target以下。目录为hadoop-2.5.1,玖nénggòu勇盖莱文建佐hadoop于centos 64bit下述结构

版权声明:本文博主原创文章,博客,未经同意不得转载。

64bit Centos6.4编hadoop-2.5.1的更多相关文章

  1. 64bit Centos6.4搭建hadoop-2.5.1

    64bit Centos6.4搭建hadoop-2.5.1 1.分布式环境搭建 採用4台安装Linux环境的机器来构建一个小规模的分布式集群. 当中有一台机器是Master节点,即名称节点,另外三台是 ...

  2. 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式

    阅读目录 ~/.ssh/authorized_keys 把公钥加到用于认证的公钥文件中,authorized_keys是用于认证的公钥文件 方式2: (未测试,应该可用) 基于空口令创建新的SSH密钥 ...

  3. 【原】centos6.5下hadoop cdh4.6 安装

    1.架构准备:      namenode 10.0.0.2      secondnamenode 10.0.0.3      datanode1 10.0.0.4      datanode2 1 ...

  4. centOS6 php 编 imap 模

    php 编 c-client imap 客户.下载 http://www.washington.edu/imap/mirrors.html 第一步,编 c-client 官方文档说究竟有点坑,编译报错 ...

  5. centos6.8系统安装 Hadoop 2.7.3伪分布式集群

    安装 Hadoop 2.7.3 配置ssh免密码登陆 cd ~/.ssh                       # 若没有该目录,请先执行一次ssh localhost ssh-keygen - ...

  6. Centos6.10搭建Hadoop三节点分布式

    (一)安装JDK 1. 下载JDK,解压到相应的路径 2.  修改 /etc/profile 文件(文本末尾添加),保存 sudo vi /etc/profile # 配置 JAVA_HOME exp ...

  7. centos6.5搭建hadoop单节点

    1.添加用户 groupadd  hadoop useradd -d /home/hadoop -m hadoop -g hadoop passwd hadoop    修改密码 付给用户sudo权限 ...

  8. centos6.5搭建hadoop完整教程

    https://blog.csdn.net/hanzl1/article/details/79040380 博客地址http://blog.csdn.net/pucao_cug/article/det ...

  9. 指导手册01:安装Hadoop

    指导手册01:安装Hadoop  Part 1:安装及配置虚拟机 1.安装Linux. (1)打开VMvirtualBox (2) 控制->新建虚拟机,输入虚拟机名称“marst+学号” 类型: ...

随机推荐

  1. 【Linux探索之旅】第一部分第二课:下载Linux,免费的噢

    内容简介 1.第一部分第二课:下载Linux,免费的噢 2.第一部分第三课预告:测试并安装Ubuntu 下载Linux,免费的噢 大家好,上一课我们认识了非常“霸气侧漏”的Linux操作系统. 也知道 ...

  2. activity-alias使用

    activity-alias这是android为了重新使用Activity设计. 当Activity的onCreate()在方法,运行getIntent().getComponent().getCla ...

  3. Session小案例------完成用户登录

    Session小案例------完成用户登录     在项目开发中,用户登陆功能再平常只是啦,当用户完毕username和password校验后.进入主界面,须要在主界面中显示用户的信息,此时用ses ...

  4. web压力测试-pylot

    我已经写在使用前Web Bench做压力測试.http://blog.csdn.net/jacson_bai/article/details/41143713 但这个測试,測试结果非常好.缺点就是,无 ...

  5. Redis数据结构

    Redis数据结构 Redis数据结构详解(一)   前言 Redis和Memcached最大的区别,Redis 除啦支持数据持久化之外,还支持更多的数据类型而不仅仅是简单key-value结构的数据 ...

  6. 【Hibernate步步为营】--(一对多映射)之双向关联

    上篇文章讨论了单向关联的一对多映射,在一的一端维护双向的关系这样的做法尽管能实现可是存在非常多缺陷,首先生成非常多多余的SQL语句,由于多的一端不维护关系,仅仅有一的一端维护,在进行操作时一的一端会发 ...

  7. WWDC 2014 Session 205/217 Extension 注意事项

    基于阅读下面的内容205和217的PDF做笔记.没有深入研究. 205 Creating Extensions for iOS and OS X, Part 1 217 Creating Extens ...

  8. Android Studio中导入Android项目StepbyStep

    想把在eclipse的项目导入Android studio,有两种方法,但是我喜欢的是不改变项目文件结构的方法,因为这样可以兼容eclipse. 第一步: 导入的项目不能运行,需要配置运行环境.And ...

  9. 2014年TI杯大学生电子设计竞赛地区赛使用仪器及器件、设备

     2014年TI杯大学生电子设计竞赛地区赛使用仪器及器件.设备 a)        3A/30V双路稳压电源(可并联): b)        60MHz示波器: c)        三位半数字万用 ...

  10. mvc与My97DatePicker插件的结合

    Razor视图引擎与My97DatePicker插件的结合 1 using System; 2 using System.Collections.Generic; 3 using System.Run ...