hadoop集群的搭建与配置(2)
对解压过后的文件进行从命名

把"/usr/hadoop"读权限分配给hadoop用户(非常重要)

配置完之后我们要创建一个tmp文件供以后的使用

然后对我们的hadoop进行配置文件的配置
vim /etc/profile

最下边的两行就是我们的hadoop文件的配置内容

重新启动配置文件。
之后要配置hadoop的hadoop-env.sh文件

添加如下内容、

保存退出即可

我们接下来要配置core-site.xml、hdfs-site.xml、mapred-site.xml三个文件了。
通过命令

对文件进行编辑
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.9.199:9000</value>
</property>
</configuration>
同样的方法编辑hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<configuration>
注解:因为只有一台Slave1所以配置value为1
编辑mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.9.199:9001</value>
</property>
</configuration>
在我们的Master和Slave1上都要进行master主服务器ip地址的配置


把我们的master的ip地址写入进去,这里在Master服务器和Slave1上都是要配置的
通过一下方式我们可以查看配置的效果

这个时候我们发现配置已经成功了
下面我们还要在我们的主服务器上进行特殊的配置(只有主服务器才进行该配置)


把我们的Slave1的服务器ip地址写入,有几台从服务器就要写入几次。
可以通过

查看我们配置的效果。
同样的道理我们也要在Slave1上进行hadoop的配置,这样才能把环境搭建好,通过以上的四部,进本是所有的需要的配置我们已经搭建完毕了。
(注解中间的配置有些地方是借鉴的博客园里的图片,跟真事的稍微有差别,到时候如果进行hadoop集群的搭建最好是去博客园把他的博客系列简单看看,不然只看我的配置,可能会中间出现不少问题,如果linux基础好的话,上手更快,一般都要花上至少三天的时间来完成两台服务器的搭建的呢)
配置完成之后下面就是要做hadoop的启动了
1)格式化HDFS文件系统
在"Master.Hadoop"上使用普通用户hadoop进行操作。(备注:只需一次,下次启动不再需要格式化,只需 start-all.sh)

这个时候我们的的格式化已经成功了,但是有一个警告,可以在网上查一下简单的配置就解决了。
2)启动hadoop
在启动前关闭集群中所有机器的防火墙,不然会出现datanode开后又自动关闭。
service iptables stop
关闭防火墙。
使用下面的命令进行启动
start-all.sh

以上工作做完之后没有问题的话我们的hadoop就算是正式启动成功了。
下面我们可以通过两个命令查看是否成功
第一种方式

第二种方式

这个时候都看一看出来我们的配置已经成功了。
我们还可以通过访问我们的Master的ip地址在浏览器中查看我们的集群的情况
访问"http:192.168.9.199:50030"

访问"http:192.168.9.199:50070"

hadoop集群的搭建与配置(2)的更多相关文章
- hadoop集群的搭建与配置(1)
前言 首先hadoop是在linux系统上进行搭建的,我们首先要在自己电脑上装上虚拟机然后装linux系统,因为我们是测试:在本地虚拟机上装两个linux分别搭建好hadoop ...
- hadoop集群环境搭建之安装配置hadoop集群
在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/ (如果没有这个目录 ...
- hadoop集群环境搭建之zookeeper集群的安装部署
关于hadoop集群搭建有一些准备工作要做,具体请参照hadoop集群环境搭建准备工作 (我成功的按照这个步骤部署成功了,经实际验证,该方法可行) 一.安装zookeeper 1 将zookeeper ...
- hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
- hadoop集群的搭建
hadoop集群的搭建 1.ubuntu 14.04更换成阿里云源 刚刚开始我选择了nat模式,所有可以连通网络,但是不能ping通,我就是想安装一下mysql,因为安装手动安装mysql太麻烦了,然 ...
- Hadoop集群环境搭建步骤说明
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的.对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“ ...
- hadoop集群的搭建(分布式安装)
集群 计算机集群是一种计算机系统,他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作. 集群系统中的单个计算机通常称为节点,通常通过局域网连接. 集群技术的特点: 1.通过多台计算 ...
- Hadoop集群上搭建Ranger
There are two types of people in the world. I hate both of them. Hadoop集群上搭建Ranger 在搭建Ranger工程之前,需要完 ...
- Hadoop集群初步搭建:
自己整理了一下Hadoop集群简易搭建的过程,感谢尚观科技贾老师的授课和指导! 基本环境要求:能联网电脑一台:装有Centos系统的VMware虚拟机:Xmanager Enterprise 5软件. ...
随机推荐
- listener.ora中PLSExtPro 和ExtProc的作用(转)
默认安装时,会安装一个PL/SQL外部程序(ExtProc)条目在listener.ora中,是oracle为调用外部程序默认配置的监听,它的名字通常是ExtProc或PLSExtProc,但一般不会 ...
- redis权限认证(设置密码)的方法
redis可以通过设置密码来增强安全强度.除了设置密码,我们还可以通过修改redis的默认端口.对端口做防火墙等.那么如何开启redis的密码功能呢?以下就是详细的步骤方法: 打开redis.conf ...
- 【软件project】生存期模型(含图)
为了反映软件生存周期内各个工作应怎样组织,各阶段怎样衔接,须要软件开发模型给出直观图示表达.软件开发模型是软件思想的详细化,是实施在过程模块中的软件开发方法和工具. 以下来介绍开发模型的特点以及他们的 ...
- Ubuntu下怎样切换到ROOT登录
原文:http://james23dier.iteye.com/blog/721246 近期一直在学习linux,选择ubuntu作为联系的操作系统.然后一直发现自己所创建的用户和root用户不是一个 ...
- Java设计模式偷跑系列(六)Singleton模式的建模与实现
转载请注明出处:http://blog.csdn.net/lhy_ycu/article/details/39784403 单例模式(Singleton):是一种经常使用的设计模式. 在Java应用中 ...
- 使用Canvas基于手势可以使树秋千
用Canvas制作能够依据手势摆动的树 依据工作的须要.制作一个摆动的树做为页面的背景.为了添加页面的交互性,我又为背景中的树添加了鼠标(触控)事件,使他可以依据鼠标(触控)做出对应的动作,当手指做上 ...
- POJ 3070 Fibonacci(矩阵高速功率)
职务地址:POJ 3070 用这个题学会了用矩阵高速幂来高速求斐波那契数. 依据上个公式可知,第1行第2列和第2行第1列的数都是第n个斐波那契数.所以构造矩阵.求高速幂就可以. 代码例如以下: #in ...
- Asp.net vNext 学习1
Asp.net vNext 学习之路(一) 概述 asp.net vNext 也叫 asp.net 5.0,意思是微软推出的下一个版本的asp.net.可以说是微软对asp.net的一个比较重大的重新 ...
- HTTP2协议之HPACK--之头部压缩规范介绍
接下来打算把HTTP2协议的头部压缩算法给翻译下,敬请等候. HPACK - Header Compression for HTTP/2 HPACK:HTTP/2头部压缩 概要说明 这个规范定义了HP ...
- PHP学习笔记----IIS7下安装配置php环境
原文:PHP学习笔记----IIS7下安装配置php环境 Php如何安装 Php版本的选择 Php在windows下的(php5.4.7)有两种版本: VC9 x86 Non Thread Safe ...