hadoop集群搭建实践
一、Linux配置
1、设置hosts的ip(集群机器做同样操作)
vi /etc/hosts
192.168.91.129 master
192.168.91.130 slave
#互相ping通即可
ping master
ping slave
2、关闭防火墙(集群机器做同样操作)
setup
3、修改主机名(修改slave节点主机名,使集群机器主机名不同即可。)
slave集群机:HOSTNAME=slave
4、安装JDK
#复制JDK到全局目录下
cp /home/chenweichu/resource/software/java/jdk-8u131-linux-x64.tar.gz /usr/java/
#解压
tar -zxvf jdk-8u131-linux-x64.tar.gz
#配置环境变量
vi /etc/profile
#/etc/profile增加内容:
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=/usr/java/jdk1.8.0_131/jre
export PATH=$PATH:/usr/java/jdk1.8.0_131/bin
export CLASSPATH=./:/usr/java/jdk1.8.0_131/lib:/usr/java/jdk1.8.0_131/jre/lib
#刷新环境变量
source /etc/profile
#检查是否安装和配置成功
java -version
#拷贝到slave机器,然后安装配置环境变量。
scp /usr/java/jdk-8u131-linux-x64.tar.gz root@slave:/usr/java/
二、hadoop安装
1、修改hadoop_env.sh
export JAVA_HOME =${JAVA_HOME}
2、修改配置文件
如下4个文件:
core-site.xml
hdfs-site.xml
mapred-site.xml
yam-site.xml
2.1、core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chenweichu/hadoopdata</value>
</property>
2.2、hdfs-site.xml:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
2.3、mapred-site.xml:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.4、yam-site.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
3、修改slaves
改成:slave
4、yarn-env.sh
增加:export JAVA_HOME = /usr/java/jdk1.8.0_131
5、将hadoop复制到集群
scp -r hadoop-2.5.2 chenweichu@slave:~/
6、创建安放hadoop数据的文件夹
mkdir /home/chenweichu/hadoopdata
7、格式化文件系统
在master节点执行
hadoop-2.5.2/bin/hdfs namenode -format
8、启动集群
master:
hadoop-2.5.2/sbin/hadoop-daemon.sh start namenode
hadoop-2.5.2/sbin/yarn-daemon.sh start resourcemanager
slave:
hadoop-2.5.2/sbin/hadoop-daemon.sh start datanode
hadoop-2.5.2/sbin/yarn-daemon.sh start nodemanager
9、运行PI实例检查集群是否成功
进入hadoop安装目录,执行下面的命令
cd hadoop-2.5.2/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 10 10
10、验证集群是否搭建成功
Web UI查看集群是否启动成功
http://192.168.91.129:18088
http://192.168.91.130:18088
最后输出:
Estimated value of Pi is 3.20000000000000000000
如果以上的3个验证步骤都没问题,说明集群正常启动。
hadoop集群搭建实践的更多相关文章
- Hadoop 集群搭建
Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建 ...
- Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...
- Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...
- Hadoop集群搭建安装过程(一)(图文详解---尽情点击!!!)
Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) h ...
- 大数据 --> Hadoop集群搭建
Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2. ...
- Linux环境下Hadoop集群搭建
Linux环境下Hadoop集群搭建 前言: 最近来到了武汉大学,在这里开始了我的研究生生涯.昨天通过学长们的耐心培训,了解了Hadoop,Hdfs,Hive,Hbase,MangoDB等等相关的知识 ...
- Hadoop(二) HADOOP集群搭建
一.HADOOP集群搭建 1.集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有 Na ...
- 1.Hadoop集群搭建之Linux主机环境准备
Hadoop集群搭建之Linux主机环境 创建虚拟机包含1个主节点master,2个从节点slave1,slave2 虚拟机网络连接模式为host-only(非虚拟机环境可跳过) 集群规划如下表: 主 ...
- Hadoop 集群搭建 mark
Hadoop 集群搭建 原创 2016-09-24 杜亦舒 性能与架构 性能与架构 性能与架构 微信号 yogoup 功能介绍 网站性能提升与架构设计 目标 在3台服务器上搭建 Hadoop2.7.3 ...
随机推荐
- 结合JSFL/actionscript 实现轮廓动画
动画前半段通过JSFL获取轮廓数据,并在EnterFrame中逐个边缘画出的:后半段机枪动画是美术做好的flash动画. 这里只放出actionscript代码,而JSFL代码涉及到一个工程,暂时保密 ...
- qtp descriptive programming multiple language(多语言支持)
so easy, 1,use the descriptive programming; 2,use the | chracter to seperate the different language ...
- navigationItem.rightBarButtonItem 设置背景图片,颜色更改解决的方法
self.navigationItem.rightBarButtonItem=[[UIBarButtonItem alloc] initWithImage:[UIImage imageNamed:@& ...
- 图片异步加载之EGOImageLoading
下载地址 http://pan.baidu.com/share/link?shareid=2690186349&uk=923776187 引入目录 简单实用 http://blog.csdn ...
- 关于easyui的问答(来自百度问答)
求教大神,jquery easyui中$('#table').datagrid('options').queryParams是什么意思 https://zhidao.baidu.com/questio ...
- JavaScript调用App原生代码(iOS、Android)通用解决方案
实际场景 场景:现在有一个H5活动页面,上面有一个登陆按钮,要求点击登陆按钮以后,唤出App内部的登录界面,当登录成功以后将用户的手机号返回给H5页面,显示出来.这个场景应该算是比较完整的一次H5中的 ...
- JAVA操作mysql
所需jar包:mysql-connector-java.jar 代码: import java.sql.*; import java.util.ArrayList; import java.util. ...
- 树莓派SD卡制作,并成功启动
需要条件: 硬件部分: 1.SD卡一张(树莓派支持的) 2.树莓派3 B + 一个(其他的版本也是可以的,这里默3B+). 1.下载树莓派镜像(NOOBS_v1_9_2.zip) wget http: ...
- MapReduce 模式、算法和用例
翻译自:http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ 在这篇文章里总结了几种网上或者论文中常见的MapReduc ...
- Html插入Flash.object.embed.swf各个参数值详解介绍[等比例缩放]
http://www.dayku.cn/space-3-do-blog-id-544.html 目也在此列出. Internet Explorer 可识别用于 object 标签的参数:Netscap ...