centos下hadoop2.6.0集群搭建详细过程
一 、centos集群环境配置
1.创建一个namenode节点,5个datanode节点
主机名 | IP |
namenodezsw | 192.168.129.158 |
datanode1zsw | 192.168.129.159 |
datanode2zsw | 192.168.129.160 |
datanode3zsw | 192.168.129.161 |
datanode4zsw | 192.168.129.162 |
datanode5zsw | 192.168.129.163 |
2.关闭防火墙,设置selinux为disabled
#service iptables stop
#chkconfig iptables off
设置selinux为disabled,如下图所示
#vim /etc/selinux/config
重启后生效,建议全部配置完成后再全部重启。
3.配置hosts文件
将各节点对应的主机名与IP地址记录在hosts文件中
vi /etc/hosts
4.配置java环境
本文所用java安装包为jdk-7u25-linux-x64.tar.gz(百度上各种版本的都有)
解压到/opt目录下
修改环境变量:
#vi /etc/profile
在文件末尾添加以下内容
export JAVA_HOME=/opt/jdk1.7.0_25
export JAR_HOME=/opt/jdk1.7.0_25/jre
export ClASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAR_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
保存后退出,执行
#source \etc\profile
查看java版本:
#java -version
显示上图结果说明配置成功
注意:使用source \etc\profile命令尽在本终端有效,重启后才全部生效
提示:namenode节点和datanode节点上述配置都相同
二、设置各节点间SSH无密码通信
在一个节点namenodezsw上操作
1.生成密钥对
#ssh-keygen -t rsa
按三次回车,结果如下图
2.将各个节点生成的公有密钥添加到authorized_keys
#cat .ssh/id_rsa.pub > .ssh/authorized_keys
#ssh 192.168.129.159 ssh-keygen -t rsa
#ssh 192.168.129.159 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
#ssh 192.168.129.160 ssh-keygen -t rsa
#ssh 192.168.129.160 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
#ssh 192.168.129.161 ssh-keygen -t rsa
#ssh 192.168.129.161 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
#ssh 192.168.129.162 ssh-keygen -t rsa
#ssh 192.168.129.162 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
#ssh 192.168.129.163 ssh-keygen -t rsa
#ssh 192.168.129.163 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
3.将authorized_keys文件传到各个节点
#scp /root/.ssh/authorized_keys root@192.168.129.159:/root/.ssh/authorized_keys
#scp /root/.ssh/authorized_keys root@192.168.129.160:/root/.ssh/authorized_keys
#scp /root/.ssh/authorized_keys root@192.168.129.161:/root/.ssh/authorized_keys
#scp /root/.ssh/authorized_keys root@192.168.129.162:/root/.ssh/authorized_keys
#scp /root/.ssh/authorized_keys root@192.168.129.163:/root/.ssh/authorized_keys
4.测试
#ssh 192.168.129.159 date
#ssh datanode1zsw date
1个namenode节点,5个datanode节点以此类推
两次ssh命令:
第一遍都需要输入yes,然后显示时间
第二遍则直接显示时间,说明配置成功
说明:每个节点上都要ssh命令其他的节点主机名和IP一下,检测是否可以
三、hadoop集群搭建
1.去hadoop官网或者百度下载hadoop-2.6.0-tar.gz,然后解压到namenode的/opt目录下
2.修改配置文件
#cd /opt/hadoop-2.6.0/etc/hadoop
①修改 hadoop-env.sh和yarn-env.sh
export JAVA_HOME=/opt/jdk1.7.0_25
②修改core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.0/tmp</value>
<description>Abase for other temporarydirectories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenodezsw:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
</configuration>
③修改hdfs-site.xml文件
configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop-2.6.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop-2.6.0/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>h1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>namenodezsw:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
④修改mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>namenodezsw:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>namenodezsw:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>namenodezsw:19888</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://namenodezsw:9001</value>
</property>
</configuration>
⑤修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>namenodezsw</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>namenodezsw:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>namenodezsw:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>namenodezsw:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>namenodezsw:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>namenodezsw:8088</value>
</property>
</configuration>
⑥修改slaves文件
⑦配置环境变量
# vi /etc/profile
export JAVA_HOME=/opt/jdk1.7.0_25
export HADOOP_HOME=/opt/hadoop-2.6.0
export JAR_HOME=/opt/jdk1.7.0_25/jre
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAR_HOME/lib
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
环境变量配置同样source /etc/profile命令本终端有效,重启后都有效
至此,修改完成
3.启动hadoop
使用scp -r /opt/hadoop-2.6.0/ hostname:/opt/命令将hadoop文件依次拷贝到5个datanode节点上。
在namenode上操作:
首先格式化
#hadoop namenode -format
启动所有服务
#start-all.sh
4.验证
namenode上:
#jps
datanode上:
#jps
网页管理端:
也可以使用 hadoop dfsadmin -report命令查看总体情况
至此集群搭建全部完成
centos下hadoop2.6.0集群搭建详细过程的更多相关文章
- CentOS下Hadoop-2.2.0集群安装配置
对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...
- hadoop2.6.0集群搭建
p.MsoNormal { margin: 0pt; margin-bottom: .0001pt; text-align: justify; font-family: Calibri; font-s ...
- hadoop2.2.0集群搭建与部署
原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3818908.html 一.安装环境 1.系统环境 CentOS 6.4 2.集群机器节点ip 节点一i ...
- Redis集群搭建详细过程整理备忘
三.安装配置 1.环境 使用2台centos服务器,每台机器上部署3个实例,集群为三个主节点与三个从节点: 192.168.5.144:6380 192.168.5.144:6381 192.168. ...
- Linux下Hadoop2.6.0集群环境的搭建
本文旨在提供最基本的,可以用于在生产环境进行Hadoop.HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用. 基础环境 JDK的安装与配置 现在直接到Oracle官网(http:/ ...
- CentOS6.4上搭建hadoop-2.4.0集群
公司Commerce Cloud平台上提供申请主机的服务.昨天试了下,申请了3台机器,搭了个hadoop环境.以下是机器的一些配置: emi-centos-6.4-x86_64medium | 6GB ...
- Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...
- Linux下Hadoop2.7.3集群环境的搭建
Linux下Hadoop2.7.3集群环境的搭建 本文旨在提供最基本的,可以用于在生产环境进行Hadoop.HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用. 基础环境 JDK的安 ...
- hadoop-2.6.0集群开发环境配置
hadoop-2.6.0集群开发环境配置 一.环境说明 1.1安装环境说明 本例中,操作系统为CentOS 6.6, JDK版本号为JDK 1.7,Hadoop版本号为Apache Hadoop 2. ...
随机推荐
- jQuery1.9 $.browser 的替代方法
jQuery 从 1.9 版开始,移除了 $.browser 和 $.browser.version , 取而代之的是 $.support . 在更新的 2.0 版本中,将不再支持 IE 6/7/8. ...
- hdu 5720 BestCoder 2nd Anniversary Wool 推理+一维区间的并
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5720 题意:有n(n <= 105)个数 ,每个数小于等于 1018:问在给定的[L,R]区间中 ...
- SQL随机数的生成
下面是一个随机函数问题,获取两位数的随机数,且不重复. 但是说明一下,这个函数有点bug,例如:两位数的函数最后能生成89个,如果将数量改成90,那么就无法生成,陷入死循环了. IF object_i ...
- linux内核源码注解
轻松学习Linux操作系统内核源码的方法 针对好多Linux 爱好者对内核很有兴趣却无从下口,本文旨在介绍一种解读linux内核源码的入门方法,而不是解说linux复杂的内核机制:一.核心源程序的文件 ...
- [ios]scrollView实现移动与缩放
实现滑动 1.在viewDidLoad中对scrollview的contentSize属性赋值 告诉他滑动范围. 实现缩放 1.在storyboard的scrollview的attribute标签中设 ...
- javascript中出现identifier starts immediately after numeric literal错误原因以及解决方法
javascript遇到参数是字符型和数字型组合的参数就会出现这种错误,例如alert(1);可以正確輸出alert(str);就會報錯alert("str");可以正確輸出.
- 一个Java对象到底占用多大内存
在网上搜到了一篇博客讲的非常好,里面提供的这个类也非常实用: import java.lang.instrument.Instrumentation; import java.lang.reflect ...
- JPA学习---第一节:JPA详解
一.详解 JPA JPA(Java Persistence API)是Sun官方提出的Java持久化规范.它为Java开发人员提供了一种对象/关系映射工具来管理Java应用中的关系数据.他的出现主要是 ...
- android 开发不能创建目录
原来代码: File tempDir = new File(path); //path 是一个参数 if (!tempDir.exists()) { try { tempDir.mkdir(); // ...
- 在云服务器搭建WordPress博客(三)安装WordPress
WordPress的安装在Windows环境下非常简单. 安装前的准备 1.下载最新版的 WordPress,解压后,将WordPress文件夹里面的所有文件,上传到你的主机空间域名所绑定的根目录. ...