hadoop 2.2.0集群安装详细步骤(简单配置,无HA)
- 安装环境
操作系统:CentOS 6.5 i586(32位)
java环境:JDK 1.7.0.51
hadoop版本:社区版本2.2.0,hadoop-2.2.0.tar.gz - 安装准备
设置集群的hosts,切换到root用户下,用vi编辑器修改/etc/hosts配置文件:vi /etc/hosts 10.1.5.125 master
10.1.5.126 slave1
10.1.5.127 slave2 127.0.0.1 localhost配置集群各个节点之间的ssh无密码互信,也就是从master开始,ssh到master、slave1和slave2上都不需要密码,反向ssh到master则不必设置。互信设置需要在hadoop2用户下执行命令如下:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys hadoop@slave1:/home/hadoop/.ssh/
scp ~/.ssh/authorized_keys hadoop@slave2:/home/hadoop/.ssh/这样就将生成的授权秘钥拷贝到了slave1和slave2的/home/hadoop2/.ssh目录下,还需要执行非常重要的一步才能实现无密码互信,修改权限:
chmod ~/.ssh/authorized_keys
该步骤必须在master、slave1和slave2上分别执行。
- hadoop安装
将hadoop-2.2.0.tar.gz拷贝到hadoop2用户的工作目录/home/hadoop2,执行解压命令,并修改文件夹名称为hadoop2:tar -zxvf hadoop-2.2..tar.gz
mv hadoop-2.2. hadoop2先配置hadoop2的环境变量,修改~/.bash_profile(JAVA_HOME、PATH和CLASSPATH已经在root用户下设置在/etc/profile文件中):
vi .bash_profile export HADOOP_HOME=$HOME/hadoop2
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=/var/hadoop/pids 执行source命令,立即生效:
source .bash_profile进入hadoop2的配置文件夹~/hadoop2/etc/hadoop/目录下,修改配置各个文件,
core-site.xml:vi core-site.xml <configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property> <property>
<name>io.file.buffer.size</name>
<value></value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop2/tmp</value>
<description>Abase for other temporary directories.</description>
</property> </configuration>hdfs-site.xml:
vi hdfs-site.xml <configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:</value>
</property> <property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop2/dfs/name</value>
</property> <property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop2/dfs/data,/hdfs/data</value>
</property> <property>
<name>dfs.replication</name>
<value></value>
</property> <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property> </configuration>hadoop-env.sh(本机的安装路径为/opt/jdk1.7):
vi hadoop-env.sh export JAVA_HOME=${JAVA_HOME}
yarn-site.xml:
vi yarn-site.xml <configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property> <property>
<name>yarn.resourcemanager.address</name>
<value>master:</value>
</property> <property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:</value>
</property> <property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:</value>
</property> <property> <name>yarn.resourcemanager.admin.address</name>
<value>master:</value>
</property> <property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:</value>
</property>
</configuration>mapred-site.xml:
vi mapred-site.xml <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>mapreduce.jobhistory.address</name>
<value>master:</value>
</property> <property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:</value>
</property> </configuration>slaves:
vi slaves master
slave1
slave2此设置中,将master也作为一个datanode节点来使用,只有在集群机器数量不足的情况下才会如此设置。
这样就设置完成了,然后将/home/hadoop2/hadoop2目录,整个拷贝到slave1和slave2的hadoop2的工作目录下,就算完成了安装:scp -r /home/hadoop2/hadoop2 slave1:/home/hadoop2
scp -r /home/hadoop2/hadoop2 slave2:/home/hadoop2 启动集群
执行hadoop2的sbin目录下的启动脚本:sbin/start-dfs.sh
(此命令启动了namenode、secondaryNamenode以及datanode) sbin/start-yarn.sh
(此命令启动了ResourceManager和NodeManager,相当于hadoop1中的jobtracker和TaskTracker)然后用jps命令来查看运行的java进程,如果下列进程都存在,则说明集群正常启动:
NameNode
SecondaryNameNode
ResourceManager
NodeManager
DataNode至此,hadoop 2.2.0集群安装完毕。
注意事项
需要注意的一点是:hadoop集群的进程pid文件默认保存在linux的/tmp目录下,而/tmp目录为保存临时文件的目录,会定期清除,所以我们最好手动修改hadoop集群的pid文件的存放目录。配置步骤如下:
在/var目录下创建目录/var/hadoop/pids,作为hadoop的pid文件存放目录,并且需要修改目录的所有者和所属组群,因为hadoop2用户需要向该目录下写入pid文件:cd /var
sudo mkdir hadoop
cd hadoop
sudo mkdir pids sudo chown -R hadoop2:hadoop2 /var/hadoop/pids然后修改hadoop2的配置文件如下:
vi hadoop-env.sh export HADOOP_PID_DIR=/var/hadoop/pids vi yarn-env.sh export YARN_PID_DIR=/var/hadoop/pids
然后重新启动集群就可以了。
hadoop 2.2.0集群安装详细步骤(简单配置,无HA)的更多相关文章
- redis3.0.0 集群安装详细步骤
Redis集群部署文档(centos6系统) Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对 ...
- hadoop 2.2.0集群安装
相关阅读: hbase 0.98.1集群安装 本文将基于hadoop 2.2.0解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net ...
- KafKa集群安装详细步骤
最近在使用Spring Cloud进行分布式微服务搭建,顺便对集成KafKa的方案做了一些总结,今天详细介绍一下KafKa集群安装过程: 1. 在根目录创建kafka文件夹(service1.serv ...
- Redis集群安装详细步骤
环境: Centos7 redis3.0 三台虚拟机主机名分别为 master node1 node2 如果单机的时候设置过密码最好把密码去掉,避免位置的错误. 拍个快照方便恢复. 1.创 ...
- Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...
- hadoop 2.2.0 集群部署 坑
注意fs.defaultFS为2..0新的变量,代替旧的:fs.default.name hadoop 2.2.0 集群启动命令:bin/hdfs namenode -formatsbin/start ...
- CentOS下Hadoop-2.2.0集群安装配置
对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...
- hadoop2.2.0集群安装和配置
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA.YARN等. 注意:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C+ ...
- Linux单机环境下HDFS伪分布式集群安装操作步骤v1.0
公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分 ...
随机推荐
- java——关于数组的定义 和 访问修饰符的修饰内容
public class Shuzu { public static void main(String[] args) { // 定义数组 必须初始化长度,没有初始化要放数据 int[] in = { ...
- /dev/sdxx is apparently in use by the system; will not make a filesystem here! 解决方法
在存储上共享了一个500G的空间,映射到Linux系统提供上,环境由2个节点组成. 一. 测试一: 直接mount 用fdisk 格式化之后如下: [root@rac1 u01]# fdisk -l ...
- input输入框用el对数字格式化
<input name="doubleInput" type="text" maxlength="32" id="doubl ...
- 使用explain分析sql语句
sql语句优化 : sql语句的时间花在哪儿? 答: 等待时间 , 执行时间. 这两个时间并非孤立的, 如果单条语句执行的快了,对其他语句的锁定的也就少了. 所以,我们来分析如何降低执行时间. : s ...
- jQueryEasyUi行编辑打造增删改查
var $obj;$(function() { $obj = $("#configQueryGrid"); $obj.datagrid({ loadMsg : '数据加载中请稍后… ...
- 类加载器详解 (转至http://blog.csdn.net/jiangwei0910410003/article/details/17733153)
首先来了解一下字节码和class文件的区别: 我们知道,新建一个java对象的时候,JVM要将这个对象对应的字节码加载到内存中,这个字节码的原始信息存放在classpath(就是我们新建Java工程的 ...
- eclipse下载,安装,JDk环境配置教程(多图)
第一步:下载eclipse,并安装. 下载链接:http://www.eclipse.org/downloads/ 点击 Download Packages; 根据自己的系统选择32位还是64位的,点 ...
- 经常使用的CSS Hack技术集锦
来源:http://www.ido321.com/938.html 一.什么是CSS Hack? 不同的浏览器对CSS的解析结果是不同的,因此会导致同样的CSS输出的页面效果不同,这就须要CSS Ha ...
- VS 清除编译产生的临时文件、文件夹
VS编译过程中会产生一些临时文件,通过以下脚本可清除 @echo off for /r %%i in (*.sdf,*.ncb,*.suo,*.exp,*.user,*.aps,*.idb,*.dep ...
- linux convert命令安装及使用
linux下ImageMagick安装和使用 检查系统有无安装ImageMagick shell> rpm -qa | grep ImageMagick 没有就开始安装ImageMagick s ...