hadoop集群配置文件

配置文件与功能对应：

修改core-site.xml文件

<property>

<name>fs.defaultFS</name>

<!--配置hdfs系统的地址-->

<value>hdfs://hadoop01:8020</value>（在哪一台配，namenode就在哪一台启动）

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop-2.6.0/hadoopdata/tmp</value>

</property>

修改hdfs-site.xml文件

<property>

<!--副本数3-->

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<!--hadoop2.x默认数据块大小是128M-->

<name>dfs.blocksize</name>

<value>134217728</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<!--NameNode节点存储元数据的位置-->

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/name</value>

</property>

<property>

<!--DataNode节点存储数据块的位置-->

<name>dfs.datanode.data.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/data</value>

</property>

<property>

<name>fs.checkpoint.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>

</property>

<property>

<name>fs.checkpoint.edits.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>

</property>

<property>

<!--hdfs系统的web地址-->（主机2为主机1做辅助作用）

<name>dfs.http.address</name>

<value>hadoop01:50070</value>

</property>

<property>

<name>dfs.secondary.http.address</name>

<value>hadoop02:50090</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

修改mapred-site.xml文件

命令如下：

# mv mapred-site.xml.template  mapred-site.xml

#vi mapred-site.xml

<property>

<!--配置执行计算模型时使用yarn资源调度器-->

<name>mapreduce.framework.name</name>

<value>yarn</value>

<final>true</final>

</property>

<property>

<!--配置MapReduce框架的历史服务的地址-->内部端口

<name>mapreduce.jobhistory.address</name>

<value>hdp-qm-01:10020</value>

</property>

<property>

<!--配置MapReduce框架的历史服务的地址-->外部web端口

<name>mapreduce.jobhistory.webapp.address</name>

<value>hdp-qm-01:19888</value>19888是mapreduce的历史端口

</property>

修改yarn-site.xml，配置yarn的集群。。50070是hdfs的web端口

<property>

<!--配置resourcemanager服务的地址-->

<name>yarn.resourcemanager.hostname</name>

<value>hdp-qm-01</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<!--配置mapreduce的shuffle服务的地址-->

<value>mapreduce_shuffle</value>注：mapreduce处理开始，到聚合之前，为shuffle过程。

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>hdp-qm-01:8032</value>内部通信端口与nodemanager通信的端口

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>请求某一台机器，调度资源时需要的端口，

<value>hdp-qm-01:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hdp-qm-01:8031</value>（tracker跟踪，nodemanager跟踪资源时需要的端口）

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>hdp-qm-01:8033</value>任务管理需要的端口

</property>

<property>

<!--配置resourcemanager的web访问地址-->

<name>yarn.resourcemanager.webapp.address</name>

<value>hdp-qm-01:8088</value>8088是yarn的web端口

</property>