配置Hadoop1.2.1
2.拷贝文件到虚拟机下(vm9下直接拖拽就可以)
3.到Hadoop的目录下的conf找到hadoop-env.sh,找到这行:# export JAVA_HOME=/usr/lib/j2sdk1.5-sun,解注并改成JAVA正确的路径
4.修改core-site.xml。默认只有,需要修改成为:
fs.default.name
hdfs://master:9000
hadoop.tmp.dir
/home/master/hadoop-1.2.1/tmp
注:要在hadoop下新建tmp文件夹,用于存放临时文件,如果不设置,hadoop默认成/tmp文件夹,这样重启后hadoop就会报错
5.修改hdfs-site.xml.默认只有,需要修改成为:
dfs.replication
2
6.修改mapred-site.xml.默认只有,需要修改成为:
mapred.job.tracker
master:9001
7.修改masters,改成master(主机名)
8.修改slaves,改成slave1(主机名)
9.切换到root用户下,修改/etc/hosts文件,增加master和slave1的IP
192.168.37.1 master
192.168.37.2 slave1
10.配置完成之后,ping master和ping slave1
11.把master节点下配置好的hadoop复制到slave1节点下:scp -r ./hadoop-1.2.1 slave1@slave1:/home/slave1
12.修改slave1节点下的/etc/hosts文件和master节点一致
192.168.37.1 master
192.168.37.2 slave1
13.格式化名称节点,即master节点,切换到hadoop目录,执行命令:bin/hadoop namenode -format
14.在正式启动hadoop之前,要把自己的公匙放到authorized_keys,这样自动连自己才会不用输入密码。方法是:
cat id_rsa.pub 然后把里面的内容复制出来,vi authorized_keys 把内容粘到里面,保存;两台机器都一样的做法。
15.改完之后,ssh master,看看是否还需要密码
16.如果之前已经运行过启动hadoop,但因为14没有做,需要把hadoop的进程杀掉,方法:进行JAVA主目录,
运行./bin/jps命令,看有哪些hadoop的进程在运行,然后用kill -9 11133把屏幕显示的进程杀掉,这样才能顺利的启动。
17.最后启动:bin/start-all.sh
18.检查hadoop是否安装成功:在JDK目录下运行-bin/jps,出现
11002 SecondaryNameNode
10832 NameNode
11076 JobTracker
11237 Jps
说明安装成功
配置Hadoop1.2.1的更多相关文章
- 配置hadoop-1.2.1出现localhost: Error: JAVA_HOME is not set.
配置hadoop-1.2.1出现localhost: Error: JAVA_HOME is not set. 具体为: hadoop@dy-virtual-machine:~/hadoop-1.2. ...
- Ubuntu环境下手动配置Hadoop1.2.1
/×××××××××××××××××××××××××××××××××××××××××/ Author:xxx0624 HomePage:http://www.cnblogs.com/xxx0624/ ...
- 配置hadoop-1.2.1 eclipse开发环境
写这篇文章的目的是记录解决配置过程中的问题 首先我们先看下这篇博文 配置hadoop-1.2.1 eclipse开发环境 但是在[修改 Hadoop 源码]这里,作者发布的 hadoop-core-1 ...
- (三)配置Hadoop1.2.1+eclipse(Juno版)开发环境,并运行WordCount程序
配置Hadoop1.2.1+eclipse(Juno版)开发环境,并运行WordCount程序 一. 需求部分 在ubuntu上用Eclipse IDE进行hadoop相关的开发,需要在Eclip ...
- centos6.2 下安装并配置hadoop1.0.4(32位安装)
一,环境准备 1. 集群内所有电脑需要设置防火墙,下面以master为例说明: 切换到root用户下,执行setup指令:
- Ubuntu18.0.4配置Hadoop1.2.1环境
在虚拟机中安装Linux,我这里选用VMware虚拟机:Linux版本是Ubuntu VMware安装Ubuntu这里就不做说明了,网上有很多教程 1.安装jdk apt install openjd ...
- 第三章:Hadoop简介及配置Hadoop-1.2.1,hbase-0.94.13集群
前面给大家讲了怎么安装Hadoop,肯定会有人还是很迷茫,装完以后原来就是这个样子,但是怎么用,下面,先给大家讲下Hadoop简介:大致理解下就OK了 hadoop是一个平台,提供了庞大的存储和并行计 ...
- 在docker 中配置hadoop1.2.1 cluser
最近一直在找工作,比较空闲,就没事研究一下hadoop,网上的视频及书,讲的差不多都是1.2.1这个版本,然后就试着在docker中搭建了一个hadoop集群, 项目已经放到了github上面了,供新 ...
- Hadoop第1~2周练习—Hadoop1.X和2.X安装
练习题目 Hadoop1.X安装 2.1 准备工作 2.1.1 硬软件环境 2.1.2 集群网络环境 2.1.3 安装使用工具 2.2 环境搭建 2.2.1 安 ...
随机推荐
- (转)在NGUI使用图片文字(数字、美术字)(直接可用于UILable)
本文永久地址:http://www.omuying.com/article/24.aspx,[文章转载请注明出处!] 在 Unity 开发过程中,我们经常会使用到美术提供的图片文字(数字)来美化我们的 ...
- javascript 将treeNode 转换id和pid的Array
function treeTolist(treeNodes, opt) { if (!opt) { opt = {}; opt.key = "id"; opt.parent = & ...
- Android 演示 ViewPager
本文内容 环境 项目结构 演示 1:PagerTitleStrip 演示 2:PagerTabStrip 演示 3:ViewPager 和动态 Fragment 下载 Demo 环境 Windows ...
- MySQL 存储过程/游标/事务
将会用到的几个表 mysql> DESC products; +------------+--------------+------+-----+---------+-------------- ...
- Kettle命令行使用说明
Kettle命令行使用说明 1.Pan——转换执行器 用来执行转换.参数与Kitchen类似,如下. 1- -version显示版本信息 2- -file=filename运行xml文件 3- -pa ...
- JSON语言规范与Java中两种解析工具基本使用
转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6652250.html 一:JSON语言规范 一言以蔽之:“一个 :一个键值对,一个{}一个对象,一个[]一个 ...
- CentOS安装Oracle 11gR2(x64)
本文主要步骤是参考:https://www.linuxidc.com/Linux/2014-02/97374.htm 后来自己加入了一些安装过程中遇到的问题和解决方法.使用图形界面安装Oracle已经 ...
- AppStore上传已经开发好的App的方法
可以很好的解决ERROR ITMS-90168:"The binary you uploaded was invalid'的问题: 1.下载:Xcode 8.1 找到:Application ...
- jQuery Easy UI Tooptip(提示框)组件
我们都知道DOM节点的title属性.Tooptip组件就是比較强大的title,它能够自由的设置自己的样式.位置以及有自己相关的触发事件. 演示样例: <!DOCTYPE html> & ...
- V-rep学习笔记:机器人模型创建3—搭建动力学模型
接着之前写的V-rep学习笔记:机器人模型创建2—添加关节继续机器人创建流程.如果已经添加好关节,那么就可以进入流程的最后一步:搭建层次结构模型和模型定义(build the model hierar ...