Created on 2014-3-30URL : http://www.cnblogs.com/zhxfl/p/3633919.html @author: zhxfl   Hadoop-2.2编译 由于Hadoop-2.2只发布了32位的版本,所以如果是在64位操作系统上,需要重新编译 安装 maven 安装maven,查找其安装目录 sudo apt-get intall maven Find /usr -name “*maven*” 根据其安装目录添加环境变量 export M2_HOME…

最近在学习搭建Hadoop, 我们从Apache官方网站直接下载最新版本Hadoop2.2.官方目前是提供了linux32位系统可执行文件,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告. Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的,而我们的机器是64位. 解决的办法就是重新在64位的机器上编译hadoop. 编译环境 OS: Ubuntu 1…

http://blog.csdn.net/w13770269691/article/details/16883663 废话不讲,直切正题. 搭建环境:Centos x 6.4 64bit 1.安装JDK 我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html,选择对应的JDK版本,解压JDK,然后配置环境变量,…

step1:将安装包hadoop-2.2.0.tar.gz存放到某一个目录下,并解压 step2:修改解压后的目录中的文件夹/etc/hadoop下的xml配置文件(如果文件不存在,则自己创建) 包括hadoop-env.sh mapred-site.xml core-site.xml hdfs-site.xml yarn-site.xml step3:格式化并启动hdfs step4:启动yarn注意事项:1,主备NameNode有多种配置方法,本课程使用JournalNode方式.为此需要至…

一 准备工作 准备工作中要求有 1.centOs 6.4,添加hadoop用户,配置集群内的/etc/hosts文件. 2.安装hadoop用户的ssh,并打通集群内所有机器,(ha执行fencing时会用到). 3.下载社区版hadoop-2.2.0源码. 二 编译hadoop 2.2.0 (编译hadoop 2.2.0所需要的软件可在此处下载:http://pan.baidu.com/s/1mgodf40) ------------------------------------------…

1基本流程步骤1:准备硬件(linux操作系统)步骤2:准备软件安装包,并安装基础软件(主要是JDK)步骤3:修改配置文件步骤4:分发hadoop步骤5:启动服务步骤6:验证是否启动成功!2硬件配置要求 1测试环境: 一台pc机或者服务器 建议内存不少于4G(2G也行)---------越高越流畅 2生产环境:>小于100个节点 建议每台机器配置不少于: dual quad-core 2.6 Ghz CPU, 24 GB of DDR3 RAM dual 1 Gb Ethernet NICs a…

其他的配置跟HDFS-HA部署方式完全一样.但JournalNOde的配置不一样>hadoop-cluster1中的nn1和nn2和hadoop-cluster2中的nn3和nn4可以公用同样的journalnode但dfs.namenode.shared.edits.dir配置不能相同.hadoop-cluster1中的nn1和nn2配置如下: hdfs ha federation启动/关闭流程在nn1,nn2两个节点上如下操作step1:在各个journalnode上,启动journalno…

这里是hadoop最小的配置,也就是修改最少量的东西让hadoop跑起来. 系统是 Centos6.7 64位, hadoop是2.6.0,虚拟机是VMWare WorkStation 假设虚拟机启动了4台机子:192.168.0.80 .192.168.0.155.192.168.0.157.192.168.0.146.这四台都做slave, 同时80还兼任master.我把root用户最为hadoop的使用者,没有新建别的用户 (设置虚拟机时还有个坑:每个虚拟机的网络连接必须选择桥接模式,并…

关于防火墙,hadoop本身配置都确定没任何问题,集群启动不报错,但打开50070页面,始终live nodes数目不对,于是我尝试/etc/hosts文件配置是否存在逻辑的错误: 127.0.0.1       localhost 192.168.1.233   localhost # Hadoop  192.168.1.233   ubuntu-233 192.168.1.234   ubuntu-234 192.168.1.235   ubuntu-235 192.168.1.236  …

目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JDK 2.用parallels克隆3台机器 3.安装Zookeeper-3.4.5 4.安装hadoop2.2.0 5.启动zookeeper 6.启动JournalNode集群 7.Hbase-0.96.2-hadoop2(启动双HMaster的配置,m1是主HMaster,m2是从HMaster) 8.在ubuntu12.…