hadoop配置历史服务器&&配置日志聚集

配置历史服务器

1、在mapred-site.xml中写入一下配置

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>

2、查看启动历史服务器文件目录

　　在Hadoop安装目录中的sbin中有mr-jobhistory-daemon.sh命令

3、启动历史服务器

　　mr-jobhistory-daemon.sh start  historyserver

4、查看历史服务器是否启动

　　jps

　　是否有

　　historymanager进程

5、查看 jobhistory

　　http://192.168.1.101:19888/jobhistory

-----------------------------------------------------------------------------------------

配置日志聚集

1、配置yarn-site.xml文件

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

2、关闭nodemanager、resourcemanager、historymanager

　　yarn-daemon.sh stop resourcemanager

　　yarn-daemon.sh stop nodemanager

　　mr-jobhistory-daemon.sh stop historyserver

3、启动nodemanager、resourcemanager、historymanager

　　yarn-daemon.sh start resourcemanager

　　yarn-daemon.sh start nodemanager

　　mr-jobhistory-daemon.sh start historyserver