配置HDFS HttpFS和WebHDFS

HDFS支持两种RESTful接口：WebHDFS和HttpFS。

WebHDFS默认端口号为50070，HttpFS默认端口号为14000。

默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。

WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。对于Hue，如果HDFS是HA方式部署的，则只能使用HttpFS模式。

HttpFS是独立的模块，有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties，需独立启动。

而WebHDFS是HDFS内置模块，无自己的配置文件、环境配置文件和日志配置文件，随HDFS而启动。

WebHDFS配置，在core-site.xml中加入以下内容：

<property>

    <name>hadoop.proxyuser.$username.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.$groupname.groups</name>

    <value>*</value>

</property>

“$username”的值为启动HDFS的用户名，“$groupname”为启动HDFS的用户组名。

HttpFS配置，在core-site.xml中加入以下内容：

<property>

    <name>hadoop.proxyuser.httpfs.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.httpfs.groups</name>

    <value>*</value>

</property>

对于HttpFS，还需要在httpfs-site.xml中加入以下内容：

<property>

    <name>httpfs.proxyuser.$username.hosts</name>

    <value>*</value>

</property>

<property>

    <name>httpfs.proxyuser.$groupname.groups</name>

    <value>*</value>

</property>

“$username”的值为启动HttpFS的用户名，“$groupname”为启动HttpFS的用户组名。

环境配置文件httpfs-env.sh可以不用修改，直接使用默认的值，当使用sbin/httpfs.sh来启动HttpFS时会屏幕输出HTTPFS_HOME等值。