Hadoop学习笔记2---配置详解

配置系统是复杂软件必不可少的一部分，而Hadoop配置信息处理是学习Hadoop源代码的一个很好的起点。现在就从Hadoop的配置文件谈起。

一、Hadoop配置格式

Hadoop配置文件格式如下所示：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>io.sort.factor</name>
        <value>10</value>
        <description>The number of streams to merge at once while sorting files</description>
    </property>
</configuration>

　　Hadoop的配置文件跟元素为configuration，一般只包含子元素property。每一个property元素就是一个配置项，配置文件不支持分层或分级，每个配置属性的名称name、值value和一个关于配置项的描述description；元素final和java关键字final类似，意味着这个配置项不可改变，而且在合并资源的时候可以防止配置项的值被覆盖。

　　如果有两个配置文件，如core-default.xml和core-site.xml.通过Configuration类（org.apache.hadoop.conf包中）的loadResource()方法，把他们合并成一配置文件。代码如下：

Configuration conf  = new Configuration（）；
conf.addResource(“core-default.xml”);
conf.addResource(“core-site.xml”);

　　如果这两个配置文件都包含了相同的配置项，而且前一个资源的配置项没有标记为final，那么后一个配置将覆盖前一个配置。

Hadoop的配置文件都是XML格式的，JAXP（Java API for XML Processing）是一种稳定、可靠的XML处理API，支持SAX（Simple API for XML）和DOM（Document Object Model）两种XML解析方式。

　　SAX 提供提供了一种流式的、事件驱动的XML处理方式，但编写处理逻辑比较复杂，适合处理大的XML文件。

　　DOM与SAX不同，它将XML文档一次性装入内存；然后根据文档中定义的元素和属性在内存中创建一个树形结构---文档对象模型，将文档对象化，文档中每个节点对应着模型中一个对象；然后使用对象提供的编程接口，访问XML文档，进而进行解析和操作XML文档，Hadoop的配置文件都是很小的文件，因此Configuration类使用DOM解析XML配置文件。

二、Hadoop配置文件

　　Hadoop的配置文件分为两类。

　 第一类只读类型的默认文件：src/core/core-default.xml、src/hdfs/hdfs-default.xml、src/mapred-default.xml.

　 第二类为定位设置（site-specific)：conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml。

　　也可以通过设置conf/Hadoop-env.sh来为Hadoop的守护进程设置环境变量（bin目录下）

　　Hadoop是通过org.apache.hadoop.conf.configuration来读取配置文件的.在Hadoop的设置中，Hadoop的设置中，Hadoop的配置是通过资源（resource）定位的，每个资源由一系列的name/value键值对以XML文件的形式构成，它以一个字符串命名或以Hadoop定义的Path类命名（这个类用于定义问价系统内的文件或者文件夹的）。如果是以字符串命名的，Hadoop会通过classpath调用此文件。如果以Path命名，那么Hadoop会直接在本地文件系统中搜索文件。

　　资源设定有两个特点。以下两点来自对Hadoop API文档的翻译和理解。

　　（1）Hadoop允许定义最终参数（final parameters），如果任意资源声明了final这个值，那么之后加载的任何资源都不能改变这个值，定义最终资源的格式是这样的：

<property>
    <name>dfs.client.buffer.dir</name>
    <value>/tem/Hadoop/dfs/client</value>
    <final>true</final>
</property>

　　（2）Hadoop允许参数传递。示例如下，当tempdir被调用时，basedir会作为值

“/user/${user.name}”被调用。那么tempdir的值为user/${user.name}/temp,相应的${user.name}也会调用其它属性的值。

<property>
    <name>basedir</name>
    <value>/user/${user.name}</value>
</property>

<property>
    <name>tempdir</name>
    <value>${basedir}/temp</value>
</property>

　　下面3个表详细说明了配置文件，hdfs-site.xml、core-site.xml、mapred-site.xml是Hadoop配置最重要的几个文件，在以后的Hadoop安装中会遇到。

参数parameter	值value
dfs.name.dir	NameNode存储名字空间及汇报日志的位置
dfs..data.dir	DataNode存储数据块的位置

conf/hdfs-site.xml配置表

参数parameter	值value
fs.default.name	NameNode的IP地址及端口

conf/core-site.xml配置表

参数parameter	值value
mapreduce.jobtracker.address	JobTracker的IP地址及端口
mapreduce.jobtracker.system.dir	Mapreduce在HDFS上存储文件的位置，例如/Hadoop/mapred/system/
mapreduce.cluster.local.dir	Mapreducede 缓存数据存储在文件系统中的位置
mapred.tasktracker.{map|reduce}.task.maximun	每台TaskTracker所能运行的Map或Reduce的task最大值
dfs.hosts/dfs.hosts.exclude	允许或禁止的Data
mapreduce.jobtracker.hosts.filename/ mapreduce.jobtracker.hosts.exclude.filename	允许或禁止的TaskTracker列表
mapreduce.cluster.job-authorization-enabled	布尔类型，表示Job存取控制列表是否支持对Job的观察和修改

conf/mapred-site.xml配置表

　　除了规定的端口、IP地址、文件存储位置外，其他配置都是不允许修改的，以上配置被默认为最终参数，这些参数不可以在程序中再次修改。

　　下一节将详细介绍Hadoop的安装。

　本文出处：http://www.cnblogs.com/bester/p/3279368.html