一、Linux配置
1、设置hosts的ip(集群机器做同样操作)
vi /etc/hosts
192.168.91.129 master
192.168.91.130 slave

#互相ping通即可

ping master
ping slave

2、关闭防火墙(集群机器做同样操作)
setup

3、修改主机名(修改slave节点主机名,使集群机器主机名不同即可。)
slave集群机:HOSTNAME=slave

4、安装JDK
#复制JDK到全局目录下
cp /home/chenweichu/resource/software/java/jdk-8u131-linux-x64.tar.gz    /usr/java/
#解压
tar -zxvf jdk-8u131-linux-x64.tar.gz
#配置环境变量
vi /etc/profile

#/etc/profile增加内容:

export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=/usr/java/jdk1.8.0_131/jre
export PATH=$PATH:/usr/java/jdk1.8.0_131/bin
export CLASSPATH=./:/usr/java/jdk1.8.0_131/lib:/usr/java/jdk1.8.0_131/jre/lib

#刷新环境变量
source /etc/profile

#检查是否安装和配置成功

java -version
#拷贝到slave机器,然后安装配置环境变量。
scp /usr/java/jdk-8u131-linux-x64.tar.gz root@slave:/usr/java/

二、hadoop安装
1、修改hadoop_env.sh
export JAVA_HOME =${JAVA_HOME}

2、修改配置文件

如下4个文件:
core-site.xml
hdfs-site.xml
mapred-site.xml
yam-site.xml

2.1、core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/chenweichu/hadoopdata</value>
</property>

2.2、hdfs-site.xml:

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

2.3、mapred-site.xml:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

2.4、yam-site.xml:

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>

3、修改slaves
改成:slave

4、yarn-env.sh
增加:export JAVA_HOME = /usr/java/jdk1.8.0_131

5、将hadoop复制到集群
scp -r hadoop-2.5.2 chenweichu@slave:~/

6、创建安放hadoop数据的文件夹
mkdir /home/chenweichu/hadoopdata

7、格式化文件系统
在master节点执行
hadoop-2.5.2/bin/hdfs namenode -format

8、启动集群
master:
hadoop-2.5.2/sbin/hadoop-daemon.sh start namenode
hadoop-2.5.2/sbin/yarn-daemon.sh start resourcemanager

slave:
hadoop-2.5.2/sbin/hadoop-daemon.sh start datanode
hadoop-2.5.2/sbin/yarn-daemon.sh start nodemanager

9、运行PI实例检查集群是否成功
进入hadoop安装目录,执行下面的命令
cd hadoop-2.5.2/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 10 10

10、验证集群是否搭建成功
Web UI查看集群是否启动成功
http://192.168.91.129:18088
http://192.168.91.130:18088

最后输出:
Estimated value of Pi is 3.20000000000000000000
如果以上的3个验证步骤都没问题,说明集群正常启动。

hadoop集群搭建实践的更多相关文章

  1. Hadoop 集群搭建

    Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建 ...

  2. Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...

  3. Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...

  4. Hadoop集群搭建安装过程(一)(图文详解---尽情点击!!!)

    Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) h ...

  5. 大数据 --> Hadoop集群搭建

    Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2. ...

  6. Linux环境下Hadoop集群搭建

    Linux环境下Hadoop集群搭建 前言: 最近来到了武汉大学,在这里开始了我的研究生生涯.昨天通过学长们的耐心培训,了解了Hadoop,Hdfs,Hive,Hbase,MangoDB等等相关的知识 ...

  7. Hadoop(二) HADOOP集群搭建

    一.HADOOP集群搭建 1.集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有 Na ...

  8. 1.Hadoop集群搭建之Linux主机环境准备

    Hadoop集群搭建之Linux主机环境 创建虚拟机包含1个主节点master,2个从节点slave1,slave2 虚拟机网络连接模式为host-only(非虚拟机环境可跳过) 集群规划如下表: 主 ...

  9. Hadoop 集群搭建 mark

    Hadoop 集群搭建 原创 2016-09-24 杜亦舒 性能与架构 性能与架构 性能与架构 微信号 yogoup 功能介绍 网站性能提升与架构设计 目标 在3台服务器上搭建 Hadoop2.7.3 ...

随机推荐

  1. 结合JSFL/actionscript 实现轮廓动画

    动画前半段通过JSFL获取轮廓数据,并在EnterFrame中逐个边缘画出的:后半段机枪动画是美术做好的flash动画. 这里只放出actionscript代码,而JSFL代码涉及到一个工程,暂时保密 ...

  2. qtp descriptive programming multiple language(多语言支持)

    so easy, 1,use the descriptive programming; 2,use the | chracter to seperate the different language ...

  3. navigationItem.rightBarButtonItem 设置背景图片,颜色更改解决的方法

    self.navigationItem.rightBarButtonItem=[[UIBarButtonItem alloc] initWithImage:[UIImage imageNamed:@& ...

  4. 图片异步加载之EGOImageLoading

    下载地址  http://pan.baidu.com/share/link?shareid=2690186349&uk=923776187 引入目录 简单实用 http://blog.csdn ...

  5. 关于easyui的问答(来自百度问答)

    求教大神,jquery easyui中$('#table').datagrid('options').queryParams是什么意思 https://zhidao.baidu.com/questio ...

  6. JavaScript调用App原生代码(iOS、Android)通用解决方案

    实际场景 场景:现在有一个H5活动页面,上面有一个登陆按钮,要求点击登陆按钮以后,唤出App内部的登录界面,当登录成功以后将用户的手机号返回给H5页面,显示出来.这个场景应该算是比较完整的一次H5中的 ...

  7. JAVA操作mysql

    所需jar包:mysql-connector-java.jar 代码: import java.sql.*; import java.util.ArrayList; import java.util. ...

  8. 树莓派SD卡制作,并成功启动

    需要条件: 硬件部分: 1.SD卡一张(树莓派支持的) 2.树莓派3 B + 一个(其他的版本也是可以的,这里默3B+). 1.下载树莓派镜像(NOOBS_v1_9_2.zip) wget http: ...

  9. MapReduce 模式、算法和用例

    翻译自:http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ 在这篇文章里总结了几种网上或者论文中常见的MapReduc ...

  10. Html插入Flash.object.embed.swf各个参数值详解介绍[等比例缩放]

    http://www.dayku.cn/space-3-do-blog-id-544.html 目也在此列出. Internet Explorer 可识别用于 object 标签的参数:Netscap ...