【大数据系列】hadoop集群的配置

一、hadoop的配置文件分类

1、只读类型的默认文件

core-default.xml     hdfs-default.xml    mapred-default.xml   mapred-queues.xml

2、定位设置

core-site.xml   hdfs-site.xml   mapred-site.xml  mapred-queues.xml

3、守护进程设置

hadoop-env.sh

二、守护进程配置表

守护进程（Daemoon）	配置选项（Configure Options）
NameNode	HADOOP_NAMENODE_OPTS
DataNode	HADOOP_DATANODE_OPTS
SecondaryNameNode	HADOOP_SECONDARYNAMENODE_OPTS
JobTracker	HADOOP_JOBTRACKER_OPTS
TackTracker	HADOOP_TASKTRACKER_OPTS

三、core-site  hdfs-site  mapred-site的配置

1、core-site.xml

参数（Parameter）	值（Value）
fs.default.name	NameNode的IP地址及端口

2、hdfs-site.xml

参数（Parameter）	值（Value）
dfs.name.dir	NameNode存储名字空间及汇报日志的位置
dfs.data.dir	DataNode存储数据块的位置

3、mapred-site.xml

参数（Parameter）	值（Value）
mapreduce.jobtracker.address	JobTracker的IP地址及端口
mapreduce.jobtracker.system.dir	MapReduce在HDFS上存储文件的位置
mapreduce.cluster.local.dir	MapReduce的缓存数据存储在文件系统中的位置
mapred.tasktracker.{map|reduce}.tasks.maximum	每台TaskTracker所能运行的Map或Reduce的task最大数量
dfs.hosts/dfs.hosts.exclude	允许或禁止的DataNode列表
mapreduce.jobtracker.hosts.filename/ mapreduce.jobtracker.hosts.exclude.filename	允许或禁止的TaskTrackers列表
mapreduce.cluster.job-authorization-enabled	布尔类型，表示Job，存储控制列表是否支持对Job的观察和修改