Hadoop1.2.1完全分布模式安装教程
假设有三台机器,它们的IP地址和对应的主机名为:
192.168.12.18 localhost.localdomain
192.168.2.215 rhel5530g
192.168.35.198 mddb01
1:在每一台机器的/etc/hosts文件中加入ip地址和主机名的映射,也就是把上面的三行加入到hosts文件中,注意在实际的安装中我们往往需要修改主机名称。配置好的hosts内容如下所示:
2:配置ssh无密码访问:
执行以下命令:
ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
并且把所有节点的authorized_keys的内容相互拷贝加入到每一个节点的authorized_keys中,配置完成后每一个节点的authorized_keys文件的内容应该是一样的。
在继续安装前,一定要保证这一步安装正确,可以使用ssh 主机名命令来测试是否成功,例如:ssh rhel5530g,如果成功则会进入到rhel5530g机器中。
3:解压hadoop文件夹。
4:进入conf目录,配置hadoop文件,我们需要配置以下几个文件:
首先配置masters文件:
这里以192.168.12.18做为主节点,也就是namenode节点。
然后配置slaves文件:
这里以192.168.2.215和192.168.35.198做为datanode节点。
配置hadoop-env.sh文件:
这里是配置java的安装地址。
配置hdfs-site.xml文件:
配置core-site.xml:
配置mapred-site.xml:
5:把文件复制到其他机器上:
scp -r /data/software/hadoop/ rhel5530g:/data/software/hadoop/
scp -r /data/software/hadoop/ mddb01:/data/software/hadoop/
这里我们是首先在localhost.localdomain机器中配置好文件的,然后再复制到其它机器的。
6:格式化namenode:
cd /data/software/hadoop/hadoop-1.2.1/bin/
./hadoop namenode –format
如果出现……has been successfully formatted,说明格式化成功。
7:启动hadoop,进入bin目录,运行./start-all.sh,执行完成后在master节点运行jps,如果出现以下红色框里的进程,说明执行成功。
然后在slave节点运行jps,如果出现以下红色框里的进程,说明执行成功。
也可以通过浏览器查看:
http://192.168.12.18:50070/dfshealth.jsp
http://192.168.12.18:50030/jobtracker.jsp
http://192.168.35.198:50060/tasktracker.jsp
http://192.168.2.215:50060/tasktracker.jsp
注意还有可能需要关闭防火墙:
service iptables stop
Hadoop1.2.1完全分布模式安装教程的更多相关文章
- hadoop1.2.1伪分布模式安装教程
1:软件环境准备 1.1Hadoop: 我们使用hadoop Release 1.2.1(stable)版本,下载链接: http://mirrors.ustc.edu.cn/apache/hadoo ...
- Hadoop-1.0.4伪分布安装与配置
1.采用伪分布模式安装 将hadoop-****.tar.gz复制到linux的/usr/local目录下. 2.解压,重命名 #tar -xzvf hadoop-1.0.4.ta ...
- 伪分布模式安装hadoop
准备工具: 虚拟机:VMware Linux系统:CentOS hadoop-1.1.2.tar.gz jdk-7u75-linux-x64.gz CentOS的网络配置 1.设置主机中VMware ...
- Hadoop 伪分布模式安装
( 温馨提示:图片中有id有姓名,不要盗用哦,可参考流程,有问题评论区留言哦 ) 一.任务目标 1.了解Hadoop的3种运行模式 2.熟练掌握Hadoop伪分布模式安装流程 3.培养独立完成Hado ...
- Linux+apache+mono+asp.net安装教程
Linux+apache+mono+asp.net安装教程(CentOS上测试的) 一.准备工作: 1.安装linux系统(CentOS,这个就不多讲了) 2.下载所需软件 http-2.4.4.ta ...
- Greenplum 源码安装教程 —— 以 CentOS 平台为例
Greenplum 源码安装教程 作者:Arthur_Qin 禾众 Greenplum 主体以及orca ( 新一代优化器 ) 的代码以可以从 Github 上下载.如果不打算查看代码,想下载编译好的 ...
- git 安装教程
昆,简单说下安装教程1,安装Git2,安装TortoiseGit3,打开第一步安装的git工具GIT BASH
- Docker和Docker-compose安装教程以及docker-elk,docker-storm安装教程
此安装教程仅供我自己安装配置时查看,其他的人不可以偷看!!! 安装Docker 1. Update package information, ensure that APT works with th ...
- RHEL 6.3 详细安装教程
以前刚接触linux时,什么都不懂,为了学习,在电脑上安装双系统(原系统为Win7),吃过不少苦头,在网上搜教程,很多都是语焉不详,导致安装过程中战战兢兢.最近朋友面试运维,面试官有考他对linux安 ...
随机推荐
- Block Towers---cf626c(二分)
题目链接:http://www.codeforces.com/contest/626/problem/C 题意是有一群小朋友在堆房子,现在有n个小孩每次可以放两个积木,m个小孩,每次可以放3个积木,最 ...
- Instagram 架构分析笔记(转)
原文:http://dbanotes.net/?s=Instagram+%E6%9E%B6%E6%9E%84%E5%88%86%E6%9E%90%E7%AC%94%E8%AE%B0 作者:冯大辉 In ...
- tooltip提示文字
<p class="tooltip-demo">Tigh <a title="Default tooltip" rel="toolt ...
- mysql 数据操作 单表查询 group by 聚合函数
强调: 如果我们用unique的字段作为分组的依据,则每一条记录自成一组,这种分组没有意义 多条记录之间的某个字段值相同,该字段通常用来作为分组的依据 如果按照每个字段都是唯一的进行分组,意味着按照这 ...
- LVM的一些问题汇总 tune2fs命令
LVM的一些问题汇总 tune2fs命令 --http://www.aminglinux.com/bbs/forum.php?mod=viewthread&tid=7664&page ...
- centos linux 系统日常管理4 scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法 第十七节课
centos linux 系统日常管理4 scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法 第十七节课 rsync可以增量同步,scp不行 ...
- Oracle监控的关键指标
1.监控事例的等待 select event, , , )) "Prev", , , )) "Curr", count(*) "Tot" f ...
- tools-eclipse-001-如何安装插件
插件的安装方法大体有以下三种: 第一种:直接复制法: 假设你的Eclipse的在(C:\eclipse), 解压你下载的 eclipse 插件或者安装eclipse 插件到指定目录AA(c:\AA)文 ...
- thinkphp处理jQuery EasyUI form表单问题
jQuery EasyUI form表单不是ajax方式提交,而是在提交的时候新建一个隐藏的iframe并在iframe里面创建一个与绑定表单一样的表单,然后在iframe里面进行同步提交而不是异步提 ...
- sqlnet.ora的作用
sqlnet.ora的作用 1.限制客户端访问(如指定客户端域为不允许访问) 2.指定命名方法(local naming,directory nameing...)的优先级 3.启用日志及跟踪(log ...