大数据-HDFS 集群搭建的配置文件

1.HDFS简单版集群搭建相关配置文件

　　1.core-site.xml文件

  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop2:9000</value>
   </property>

   <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop-2.9./data</value>
   </property>

2.ZK搭建高可用HDFS集群搭建相关配置文件

　　1.zkdata1/zoo.cfg文件

 tickTime=
 initLimit=
 syncLimit=
 dataDir=/root/zkdata
 clientPort=
 server.=主机名::
 server.=主机名::
 server.=主机名::

　　2.hadoop的core-site.xml文件

 <!--hdfs主要入口不再是一个具体机器而是一个虚拟的名称 -->
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://ns</value>
 </property>

 <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop-2.9./data</value>
 </property>

 <property>
     <name>ha.zookeeper.quorum</name>
   <value>hadoop1:,hadoop1:,hadoop1:</value>
 </property>

　　3.hadoop 配置hdfs-site.xml文件

 <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
       <property>
           <name>dfs.nameservices</name>
           <value>ns</value>
       </property>
       <!-- ns下面有两个NameNode，分别是nn1，nn2 -->
       <property>
           <name>dfs.ha.namenodes.ns</name>
           <value>nn1,nn2</value>
       </property>
          <!-- nn1的RPC通信地址 -->
       <property>
           <name>dfs.namenode.rpc-address.ns.nn1</name>
           <value>hadoop2:</value>
       </property>
       <!-- nn1的http通信地址 -->
       <property>
           <name>dfs.namenode.http-address.ns.nn1</name>
           <value>hadoop2:</value>
       </property>
       <!-- nn2的RPC通信地址 -->
       <property>
           <name>dfs.namenode.rpc-address.ns.nn2</name>
           <value>hadoop3:</value>
       </property>
       <!-- nn2的http通信地址 -->
       <property>
           <name>dfs.namenode.http-address.ns.nn2</name>
           <value>hadoop3:</value>
       </property>

     <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
     <property>
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://hadoop2:8485;hadoop3:8485;hadoop4:8485/ns</value>
     </property>
 <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
     <property>
         <name>dfs.journalnode.edits.dir</name>
         <value>/root/journal</value>
     </property>
     <!-- 开启NameNode故障时自动切换 -->
     <property>
         <name>dfs.ha.automatic-failover.enabled</name>
         <value>true</value>
     </property>
     <!-- 配置失败自动切换实现方式 -->
     <property>
         <name>dfs.client.failover.proxy.provider.ns</name>
         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>
     <!-- 配置隔离机制，如果ssh是默认22端口，value直接写sshfence即可 -->
     <property>
         <name>dfs.ha.fencing.methods</name>
         <value>sshfence</value>
     </property>
     <!-- 使用隔离机制时需要ssh免登陆 -->
     <property>
         <name>dfs.ha.fencing.ssh.private-key-files</name>
         <value>/root/.ssh/id_rsa</value>
     </property>

3.搭建yarn集群

　　1.mapred-site.xml

　　注意：默认/etc/中没有这个配置文件 需要拷贝mapred-site.xml.template 配置文件

　　　　    改名为mapred-site.xml

 <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>

　　2.yarn.site.xml文件

 <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>Hadoop</value>
 </property>

4.HA的hadoop集群搭建的配置文件(最终版)

　　1.core-site.xml文件

 <!--hdfs主要入口不再是一个具体机器而是一个虚拟的名称 -->
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://ns</value>
 </property>
 <!-- hadoop临时目录位置 -->
 7 <property>
   <name>hadoop.tmp.dir</name>
   <value>/root/hadoop-2.9./data</value>
 </property>
 <!--zk集群的所有节点-->
 <property>
     <name>ha.zookeeper.quorum</name>
   <value>zk:,zk:,zk:</value>
 </property>

　　2.hdfs-site.xml文件

 <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
 <property>
     <name>dfs.nameservices</name>
     <value>ns</value>
 </property>
 6 <!-- ns下面有两个NameNode，分别是nn1，nn2 -->
 7 <property>
     <name>dfs.ha.namenodes.ns</name>
     <value>nn1,nn2</value>
10 </property>
11 <!-- nn1的RPC通信地址 -->
12 <property>
     <name>dfs.namenode.rpc-address.ns.nn1</name>
     <value>hadoop22:</value>
 </property>
 <!-- nn1的http通信地址 -->
 <property>
     <name>dfs.namenode.http-address.ns.nn1</name>
     <value>hadoop22:</value>
 </property>
 <!-- nn2的RPC通信地址 -->
 <property>
     <name>dfs.namenode.rpc-address.ns.nn2</name>
     <value>hadoop23:</value>
 </property>
 <!-- nn2的http通信地址 -->
 <property>
     <name>dfs.namenode.http-address.ns.nn2</name>
     <value>hadoop23:</value>
 </property>

 <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
 <property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>qjournal://hadoop26:8485;hadoop27:8485;hadoop28:8485/ns</value>
 </property>
 <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
 <property>
     <name>dfs.journalnode.edits.dir</name>
     <value>/root/journal</value>
     </property>
 <!-- 开启NameNode故障时自动切换 -->
 <property>
      <name>dfs.ha.automatic-failover.enabled</name>
      <value>true</value>
 </property>
 <!-- 配置失败自动切换实现方式 -->
 <property>
       <name>dfs.client.failover.proxy.provider.ns</name>
       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <!-- 配置隔离机制，如果ssh是默认22端口，value直接写sshfence即可 -->
 <property>
       <name>dfs.ha.fencing.methods</name>
       <value>sshfence</value>
 </property>
 <!-- 使用隔离机制时需要ssh免登陆 -->
 <property>
     <name>dfs.ha.fencing.ssh.private-key-files</name>
     <value>/root/.ssh/id_rsa</value>
 </property>

　　3.yarn-site.xml文件

 <!-- 开启RM高可用 -->
 <property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <!-- 指定RM的cluster id -->
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>yrc</value>
 </property>
 <!-- 指定RM的名字 -->
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <!-- 分别指定RM的地址 -->
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>hadoop24</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>hadoop25</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address.rm1</name>
   <value>hadoop24:</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address.rm2</name>
   <value>hadoop25:</value>
 </property>
 <!-- 指定zk集群地址 -->
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>zk:,zk:,zk:</value>
 </property>
 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>

　　4.mapred-site.xml  默认不存在需要复制

 <!-- 指定mr框架为yarn方式 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>