大数据-HDFS 集群搭建的配置文件

1.HDFS简单版集群搭建相关配置文件

　　1.core-site.xml文件

  <property>

     <name>fs.defaultFS</name>

     <value>hdfs://hadoop2:9000</value>

   </property>

   <property>

    <name>hadoop.tmp.dir</name>

    <value>/usr/hadoop-2.9./data</value>

   </property>

2.ZK搭建高可用HDFS集群搭建相关配置文件

　　1.zkdata1/zoo.cfg文件

 tickTime=

 initLimit=

 syncLimit=

 dataDir=/root/zkdata

 clientPort=

 server.=主机名::

 server.=主机名::

 server.=主机名::

　　2.hadoop的core-site.xml文件

 <!--hdfs主要入口不再是一个具体机器而是一个虚拟的名称 -->

 <property>

   <name>fs.defaultFS</name>

   <value>hdfs://ns</value>

 </property>

 <property>

   <name>hadoop.tmp.dir</name>

   <value>/usr/hadoop-2.9./data</value>

 </property>

 <property>

     <name>ha.zookeeper.quorum</name>

   <value>hadoop1:,hadoop1:,hadoop1:</value>

 </property>

　　3.hadoop 配置hdfs-site.xml文件

 <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->

       <property>

           <name>dfs.nameservices</name>

           <value>ns</value>

       </property>

       <!-- ns下面有两个NameNode，分别是nn1，nn2 -->

       <property>

           <name>dfs.ha.namenodes.ns</name>

           <value>nn1,nn2</value>

       </property>

          <!-- nn1的RPC通信地址 -->

       <property>

           <name>dfs.namenode.rpc-address.ns.nn1</name>

           <value>hadoop2:</value>

       </property>

       <!-- nn1的http通信地址 -->

       <property>

           <name>dfs.namenode.http-address.ns.nn1</name>

           <value>hadoop2:</value>

       </property>

       <!-- nn2的RPC通信地址 -->

       <property>

           <name>dfs.namenode.rpc-address.ns.nn2</name>

           <value>hadoop3:</value>

       </property>

       <!-- nn2的http通信地址 -->

       <property>

           <name>dfs.namenode.http-address.ns.nn2</name>

           <value>hadoop3:</value>

       </property>

     <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->

     <property>

         <name>dfs.namenode.shared.edits.dir</name>

         <value>qjournal://hadoop2:8485;hadoop3:8485;hadoop4:8485/ns</value>

     </property>

 <!-- 指定JournalNode在本地磁盘存放数据的位置 -->

     <property>

         <name>dfs.journalnode.edits.dir</name>

         <value>/root/journal</value>

     </property>

     <!-- 开启NameNode故障时自动切换 -->

     <property>

         <name>dfs.ha.automatic-failover.enabled</name>

         <value>true</value>

     </property>

     <!-- 配置失败自动切换实现方式 -->

     <property>

         <name>dfs.client.failover.proxy.provider.ns</name>

         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

     </property>

     <!-- 配置隔离机制，如果ssh是默认22端口，value直接写sshfence即可 -->

     <property>

         <name>dfs.ha.fencing.methods</name>

         <value>sshfence</value>

     </property>

     <!-- 使用隔离机制时需要ssh免登陆 -->

     <property>

         <name>dfs.ha.fencing.ssh.private-key-files</name>

         <value>/root/.ssh/id_rsa</value>

     </property>

3.搭建yarn集群

　　1.mapred-site.xml

　　注意：默认/etc/中没有这个配置文件需要拷贝mapred-site.xml.template 配置文件

　　　　改名为mapred-site.xml

 <property>

     <name>mapreduce.framework.name</name>

     <value>yarn</value>

 </property>

　　2.yarn.site.xml文件

 <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

 </property>

 <property>

     <name>yarn.resourcemanager.hostname</name>

     <value>Hadoop</value>

 </property>

4.HA的hadoop集群搭建的配置文件(最终版)

　　1.core-site.xml文件

 <!--hdfs主要入口不再是一个具体机器而是一个虚拟的名称 -->

 <property>

   <name>fs.defaultFS</name>

   <value>hdfs://ns</value>

 </property>

 <!-- hadoop临时目录位置 -->

 7 <property>

   <name>hadoop.tmp.dir</name>

   <value>/root/hadoop-2.9./data</value>

 </property>

 <!--zk集群的所有节点-->

 <property>

     <name>ha.zookeeper.quorum</name>

   <value>zk:,zk:,zk:</value>

 </property>

　　2.hdfs-site.xml文件

 <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->

 <property>

     <name>dfs.nameservices</name>

     <value>ns</value>

 </property>

 6 <!-- ns下面有两个NameNode，分别是nn1，nn2 -->

 7 <property>

     <name>dfs.ha.namenodes.ns</name>

     <value>nn1,nn2</value>

10 </property>

11 <!-- nn1的RPC通信地址 -->

12 <property>

     <name>dfs.namenode.rpc-address.ns.nn1</name>

     <value>hadoop22:</value>

 </property>

 <!-- nn1的http通信地址 -->

 <property>

     <name>dfs.namenode.http-address.ns.nn1</name>

     <value>hadoop22:</value>

 </property>

 <!-- nn2的RPC通信地址 -->

 <property>

     <name>dfs.namenode.rpc-address.ns.nn2</name>

     <value>hadoop23:</value>

 </property>

 <!-- nn2的http通信地址 -->

 <property>

     <name>dfs.namenode.http-address.ns.nn2</name>

     <value>hadoop23:</value>

 </property>

 <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->

 <property>

     <name>dfs.namenode.shared.edits.dir</name>

     <value>qjournal://hadoop26:8485;hadoop27:8485;hadoop28:8485/ns</value>

 </property>

 <!-- 指定JournalNode在本地磁盘存放数据的位置 -->

 <property>

     <name>dfs.journalnode.edits.dir</name>

     <value>/root/journal</value>

     </property>

 <!-- 开启NameNode故障时自动切换 -->

 <property>

      <name>dfs.ha.automatic-failover.enabled</name>

      <value>true</value>

 </property>

 <!-- 配置失败自动切换实现方式 -->

 <property>

       <name>dfs.client.failover.proxy.provider.ns</name>

       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

 </property>

 <!-- 配置隔离机制，如果ssh是默认22端口，value直接写sshfence即可 -->

 <property>

       <name>dfs.ha.fencing.methods</name>

       <value>sshfence</value>

 </property>

 <!-- 使用隔离机制时需要ssh免登陆 -->

 <property>

     <name>dfs.ha.fencing.ssh.private-key-files</name>

     <value>/root/.ssh/id_rsa</value>

 </property>

　　3.yarn-site.xml文件

 <!-- 开启RM高可用 -->

 <property>

   <name>yarn.resourcemanager.ha.enabled</name>

   <value>true</value>

 </property>

 <!-- 指定RM的cluster id -->

 <property>

   <name>yarn.resourcemanager.cluster-id</name>

   <value>yrc</value>

 </property>

 <!-- 指定RM的名字 -->

 <property>

   <name>yarn.resourcemanager.ha.rm-ids</name>

   <value>rm1,rm2</value>

 </property>

 <!-- 分别指定RM的地址 -->

 <property>

   <name>yarn.resourcemanager.hostname.rm1</name>

   <value>hadoop24</value>

 </property>

 <property>

   <name>yarn.resourcemanager.hostname.rm2</name>

   <value>hadoop25</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.address.rm1</name>

   <value>hadoop24:</value>

 </property>

 <property>

   <name>yarn.resourcemanager.webapp.address.rm2</name>

   <value>hadoop25:</value>

 </property>

 <!-- 指定zk集群地址 -->

 <property>

   <name>yarn.resourcemanager.zk-address</name>

   <value>zk:,zk:,zk:</value>

 </property>

 <property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

 </property>

　　4.mapred-site.xml 默认不存在需要复制

 <!-- 指定mr框架为yarn方式 -->

 <property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

 </property>

大数据-HDFS 集群搭建的配置文件的更多相关文章

大数据 --> Kafka集群搭建
Kafka集群搭建下面是以三台机器搭建为例,(扩展到4台以上一样,修改下配置文件即可) 1.下载kafka http://apache.fayea.com/kafka/0.9.0.1/ ,拷贝到三台 ...
大数据 --> Hadoop集群搭建
Hadoop集群搭建 1.修改/etc/hosts文件在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2. ...
大数据Hadoop-Spark集群部署知识总结（一）
大数据Hadoop-Spark集群部署知识总结一.启动/关闭 hadoop myhadoop.sh start/stop 分步启动: 第一步:在hadoop102主机上 sbin/start-dfs ...
大数据（2）---HDFS集群搭建
一.准备工作 1.准备几台机器,我这里使用VMware准备了四台机器,一个name node,三个data node. VMware安装虚拟机:https://www.cnblogs.com/niju ...
一台虚拟机，基于docker搭建大数据HDP集群
前言好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分.第一个部分就是基础的平台 ...
大数据——Hadoop集群坏境CentOS安装
前言前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正题. 技术准备 VMwa ...
大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
[转]大数据hadoop集群硬件选择
问题导读 1.哪些情况会遇到io受限制? 2.哪些情况会遇到cpu受限制? 3.如何选择机器配置类型? 4.为数据节点/任务追踪器提供的推荐哪些规格? 随着Apache Hadoop的起步,云客户 ...
部署开启了Kerberos身份验证的大数据平台集群外客户端
转载请注明出处 :http://www.cnblogs.com/xiaodf/ 本文档主要用于说明,如何在集群外节点上,部署大数据平台的客户端,此大数据平台已经开启了Kerberos身份验证.通过客户 ...

随机推荐

Python深入：02浅拷贝深拷贝
对象赋值实际上是简单的对象引用.也就是说当你创建一个对象,然后把它赋给另一个变量的时候,Python并没有拷贝这个对象,而只是拷贝了这个对象的引用. 假设想创建一对小夫妻的通用档案,名为person. ...
BZOJ 1935 Tree 园丁的烦恼 CDQ分治/主席树
CDQ分治版本我们把询问拆成四个前缀和,也就是二维前缀和的表达式, 我们把所有操作放入一个序列中操作1代表在x,y出现一个树操作2代表加上在x,y内部树的个数操作3代表减去在x,y内部树的个数 ...
2015年热门的国产开源软件TOP 50
2015年热门的国产开源软件TOP 50 开源中国在 2015 年得到了快速的发展,单开源软件收藏量就接近 40000 款,其中不乏优质的国产开源项目.本文从软件的收藏.下载.访问等多角度挑选出了 2 ...
数据存储在哪里? Java是值传递还是引用传递?
寄存器 : 最快的存储区,位于处理器中,寄存器会按需求自行分配空间,java不能控制寄存器,所以在程序中感觉不到它的存在栈(stack) : 位于RAM(内存)中,速度仅次于寄存器,存储对象的引用( ...
Activiti7工作流+SpringBoot
文章目录一. Activiti相关概念 1. Activiti介绍 2. 核心类 2.1 ProcessEngine 2.2 服务(Service)类 2.2.1 TaskService 2.2.2 ...
vue-router在新窗口打开页面
1. <router-link>标签实现新窗口打开: <router-link target="_blank" :to="{path:'/app/dat ...
laravel安装intervention/image图像处理扩展报错 intervention/image 2.3.7 requires ext-fileinfo
在安装intervention/image图像处理扩展报错fileinfo is missing 报错信息如下: \blog>composer require intervention/ima ...
laravel的Eloquent关联关系
1.简介: 1>Eloquent 关联关系以Eloquent模型类方法的形式被定义(是模型类的一个方法). 2>同 Eloquent 模型本身一样,关联关系也是强大的查询构建器,定义关联关 ...
php检测函数
验证字符串是否为电子邮箱 var_dump(filter_var('bob@example.com', FILTER_VALIDATE_EMAIL)); //bob@example.co ...
vue通信、传值的方式
原文博主地址:https://blog.csdn.net/qq_35430000/article/details/79291287 看完还是受益匪浅,讲得很详细..感谢!