大数据中Hadoop集群搭建与配置
前提环境是之前搭建的4台Linux虚拟机,详情参见 Linux集群搭建
该环境对应4台服务器,192.168.1.60、61、62、63,其中60为主机,其余为从机
软件版本选择:
Java:JDK1.8.0_191(jdk-8u191-linux-x64.tar.gz)
Hadoop:Hadoop-2.9.2(hadoop-2.9.2.tar.gz)
上传hadoop与java到服务器并查看
cd /home/ftpuser/
ls
安装Java
解压Java
mkdir /usr/java
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/java/
配置Java环境变量
vi /etc/profile
添加Java配置
启用配置
source /etc/profile
查看是否配置成功
java -version
配置Hadoop主体环境
修改hostname,方便认识,这里设置为对应IP的4台服务器HServer60,HServer61,HServer62,HServer63,配置后重启(reboot)生效
vi /etc/hostname
配置hosts文件,对应IP于主机名
vi /etc/hosts
解压hadoop
mkdir /cloud
cd /home/ftpuser/
tar -zxvf hadoop-2.9.2.tar.gz -C /cloud/
一共有5个文件需要配置
hadoop-env.sh
core-site.xml
hdfs-site.xml
yarn-site.xml
yarn-env.sh
mapred-site.xml
slaves
cd /cloud/hadoop-2.9.2/etc/hadoop/
配置hadoop-env.sh
vi hadoop-env.sh
配置yarn-env.sh
vi yarn-env.sh
配置core-site.xml
vi core-site.xml
配置mapred-site.xml,先从模板复制一份配置出来,并修改
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
配置slaves,写入从机名称
vi slaves
剩下的2个文件hdfs-site.xml与yarn-site.xml需要区分主机NameNode与从机DataNode的配置
主机NameNode的hdfs-site.xml配置
vi hdfs-site.xml
其中blocksize可以根据情况自行调整,是数据块的大小,handler.cout一般几台小集群10都足够了
主机NameNode的yarn-site.xml配置
vi yarn-site.xml
从机DataNode的hdfs-site.xml配置
vi hdfs-site.xml
其中replication为备份数
从机DataNode的yarn-site.xml配置
vi yarn-site.xml
设置NameNode免密登录,在主机上操作
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.61
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.62
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.63
可以将配置好的东西通过scp命令复制到远程服务器上
scp -rp /cloud/hadoop-2.9.2 root@192.168.1.62:/cloud/
整个Hadoop集群配置完毕,可以启动试试看,这里换到我已经搭建好的4台服务器,50、51、52、53
启动命令在hadoop目录的sbin文件夹中,也可以在/etc/profile文件中配置环境变量,类似java配置,将该目录加入path路径
启动hadoop集群,通过jps查看是否启动了
start-all.sh
主机jps上会有NameNode,ResourceManager,SecondaryNameNode
从机jps上会有NodeManager,DataNode
这样就成功的启动了,访问主机IP:50070的URL访问
大数据中Hadoop集群搭建与配置的更多相关文章
- 大数据中HBase集群搭建与配置
hbase是分布式列式存储数据库,前提条件是需要搭建hadoop集群,需要Zookeeper集群提供znode锁机制,hadoop集群已经搭建,参考 Hadoop集群搭建 ,该文主要介绍Zookeep ...
- 大数据中Linux集群搭建与配置
因测试需要,一共安装4台linux系统,在windows上用vm搭建. 对应4个IP为192.168.1.60.61.62.63,这里记录其中一台的搭建过程,其余的可以直接复制虚拟机,并修改相关配置即 ...
- 大数据学习——HADOOP集群搭建
4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主 ...
- 大数据平台Hadoop集群搭建
一.概念 Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce.HDFS是一个分布式文件系统,类似mogilef ...
- 大数据学习——hadoop集群搭建2.X
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### ...
- 大数据测试之hadoop集群配置和测试
大数据测试之hadoop集群配置和测试 一.准备(所有节点都需要做):系统:Ubuntu12.04java版本:JDK1.7SSH(ubuntu自带)三台在同一ip段的机器,设置为静态IP机器分配 ...
- Java+大数据开发——Hadoop集群环境搭建(一)
1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有 NameNode / DataN ...
- Java+大数据开发——Hadoop集群环境搭建(二)
1. MAPREDUCE使用 mapreduce是hadoop中的分布式运算编程框架,只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序 2. Demo开发--wo ...
- 大数据-HBase HA集群搭建
1.下载对应版本的Hbase,在我们搭建的集群环境中选用的是hbase-1.4.6 将下载完成的hbase压缩包放到对应的目录下,此处我们的目录为/opt/workspace/ 2.对已经有的压缩包进 ...
随机推荐
- 只要下面看到func() 带括号的,就会弹上去找对应的函数,然后执行相应的函数块
def func1(): print("呵呵")def func2(): print("呵呵")def func3(): print("呵呵" ...
- RTCM32转码至RTCM23,再次测试,一些收获
RTCM32是2013年发布的,RTCM23是2001年发布,两者相隔十多年,某些软件已经不支持RTCM32的解码.故在此对RTCM32的编码进行转换,使用2018年4月9日天宝接收机数据.编码格式为 ...
- Alpha 冲刺报告(8/10)
Alpha 冲刺报告(8/10) 队名:洛基小队 峻雄(组长) 已完成:关于角色属性的脚本编码 明日计划:提升脚本的完成度 剩余任务:角色的属性脚本 困难:缺乏编程经验,很难自己独立完成编写,只能根据 ...
- U-Mail详解邮件营销优势及应用领域
最近频频有营销人员向U-Mail小编咨询:邮件营销到底有什么好处呢?与此同时,还有不少人对邮件营销存在一定的误解:邮件营销是不是只给潜在消费者发送邮件推广商品呢?其实邮件群发的应用面非常广泛,可不仅仅 ...
- IntelliJ 禁用 Search Everywhere
发现自: https://youtrack.jetbrains.com/issue/IDEA-114933#comment=27-603899 Open lib/resources.jar/idea/ ...
- Python之数据库模块安装 MySQLdb
安装,下载地址 安装可能会报错, 1.需要安装VC++,到提示的地址中下载安装即可 2.在下载对应的包版本,如果是win7 64位2.7版本的python,就下载 MySQL_python-1.2.5 ...
- Sublime Text 3中文乱码
Sublime Text 3是很好的代码编辑器,没有之一,因为她的性感高亮代码配色,更因为它的小巧,但是它默认不支持GBK的编码格式,因此打开GBK的代码文件,如果里面有中文的话,就会乱码,如下所示: ...
- 浅析Java CompletionService
JDK的CompletionService提供了一种将生产新的异步任务与使用已完毕任务的结果分离开来的服务.生产者 submit 运行的任务.使用者 take 已完毕的任务,并依照完毕这些任务的顺序处 ...
- CentOS7.2安装mysql
1. 下载Mysql yum包 http://dev.mysql.com/downloads/repo/yum/ 复制链接使用wget下载 wget http://repo.mysql.com/mys ...
- selenium测试报告(含通过率统计图和失败截图)
前言: 介绍的是含饼状统计图及失败截图的测试报告文件. 原文地址:https://testerhome.com/topics/9984 此版本增加了如下功能 测试报告完全汉化,包括错误日志的中文处理 ...