Hadoop集群管理--保证集群平稳地执行

本篇介绍为了保证Hadoop集群平稳地执行。须要深入掌握的知识。以及一些管理监控的手段，日常维护的工作。

HDFS

永久性数据结构

对于管理员来说。深入了解namenode，辅助namecode和datanode等HDFS组件怎样在磁盘上组织永久性数据很重要。

洞悉各文件的使用方法有助于进行故障诊断和故障检出。

namenode的文件夹结构

namenode被格式化后，将在${dfs.namenode.name.dir}/current 文件夹下。产生例如以下的文件夹结构：VERSION、edits、fsimage、fstime。

仅仅有深入学习namenode的工作原理。才干理解这些文件的用途。对于Hadoop集群管理员来说。这是有必要的。

辅助namenode的文件夹结构

在大型集群中，辅助namenode须要执行在一台专用机器上。保持和namenode基本一致的文件夹结构和数据。在主namenode发生问题时。能够从辅助namenode恢复数据。

datanode的文件夹结构

datanode不是格式化时创建的，而是启动时自己主动创建的。datanode的重要文件和文件夹例如以下所看到的：

dfs.data.dir 是在hadoop1.X中定义的，在Hadoop2.X中是在hdfs-site.xml中定义的 fs.datanode.data.dir 。

安全模式

namenode启动时，首先将映像文件(fsimage)加载内存。并运行编辑日志(edits)中的各项操作。

一系列操作之后，假设满足“最小复本条件”，namenode会在30秒内退出安全模式。所谓的最新复本调价指的是在整个文件系统中有99.9%的块满足最小复本条件(默认值时1，由dfs.replication.min属性设置)。

在启动一个刚刚格式化的HDFS集群时。由于系统中还没有不论什么块，所以namenode不会进入安全模式。

安全模式的属性设置例如以下：

安全模式操作命令：

hadoop dfsadmin -safemode get

hadoop dfsadmin -safemode wait

hadoop dfsadmin -safemode leave

hadoop dfsadmin -safemode enter

调整日志级别

log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN

调整为INFO或者其它。

工具

dfsadmin工具

fsck工具

Hadoop提供fsck工具来检查HDFS中文件的健康状况。该工具会查找那些全部datanode中均缺失的块以及过少或过多复制的块。

使用命令：

hadoop fsck /

hadoop fsck / -move

hadoop fsck / -delete

datanode块扫描器

各个datanode执行一个快扫描器。定期检測本节点上的全部块。从而在client读到坏块之前及时地检測和修复坏块。能够依靠DataBlockScanner所维护的块列表依次扫描块，查看是否存在校验和错误。

扫描器还使用节流机制，来维持datanode的磁盘带宽(换句话说，块扫描器工作时仅占用一小部分磁盘带宽)。

默认情况下。块扫描器每隔三周（504小时）就会检測块，以应对可能的磁盘故障，这个周期由dfs.datanode.scan.period.hours属性设置。损坏的块被报给namenode，并被即时修复。

訪问网页：http://datanode:50075/blockScannerReport 获取该datanode的块检測报告。

加 ?Listblocks 參数会在报告中列出该datanode上全部的块及其最新验证状态。

均衡器

均衡器（balancer）程序是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空暇的datanode。从而又一次分配块。同一时候坚持块复本放置策略，将复本分散到不同机架。以减少数据损坏率。

操作一直运行，直到均衡，即每一个datanode的使用率（该节点上已使用的空间和空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）很接近，差距不超过给定的阀值。

启动均衡器指令：start-blancer.sh ,-threshold參数指定阀值（百分比格式），默认10%。在不论什么时刻，集群中都仅仅执行一个均衡器。

在不同节点之间复制数据的带宽也是受限的。默认是1MB/s。能够通过hdfs-site.xml中的dfs.balance.bandwidthPerSec属性指定（单位是字节）。

监控

监控是系统管理的重要内容。监控的目标在于检測集群在何时未提供所期望的服务。

主守护进程是最须要监控的，包含主namenode、辅助namenode和jobtracker。

datanode和tasktracker常常出现问题；在大型集群中。故障率尤其高。

因此，集群须要保留额外的容量，如此一来，即使有一小部分节点宕机，也不影响整个系统的运作。

管理员也能够定期执行一些測试作业。以检查集群的健康状况。

日志

全部Hadoop守护进程都会产生日志文件。这些文件很有助于查明系统中发生的事件。

默认情况下。Hadoop生成的系统日志文件存放在$HADOOP_INSTALL/logs文件夹之中，也能够通过hadoop-env.sh文件里的HADOOP_LOG_DIR来进行改动。通常能够把日志文件存放在/var/log/hadoop文件夹中。实现的办法就是在hadoop-env.sh中增加一行：export HADOOP_LOG_DIR=/var/log/hadoop ，假设日志文件夹不存在，则会首先创建该文件夹，假设创建失败。请检查hadoop用户是否有权创建该文件夹。

设置日志级别

故障排查过程中，暂时设置日志级别很故意，有两种方法，网页和命令行。比如要对某台机器的JobTracker设置为DEBUG级别，能够例如以下：

a、訪问http://jobtracker-host:50030/logLevel，将org.apache.hadoop.mapred.JobTracker属性设置为DEBUG级别

b、hadoop daemonlog -setlevel jobtracker-host:50030 org.apache.hadoop.mapred.JobTracker DEBUG

获取堆栈轨迹

Hadoop守护进程提供一个网页，对正在守护进程的JVM中执行着的线程执行线程转储（Thread-dump）。

比如：http://jobtracker-host:50030/stacks获取jobtracker的线程转储。

度量

HDFS和MapReduce守护进程收集的事件和度量相关的信息，这些信息统称为度量（metric）。

比如，各个datanode会收集例如以下度量（还有很多其它）：写入的字节、块的复本数、client发起的读操作请求数。

度量从属于特定的上下文，眼下，Hadoop使用dfs、mapred、rpc、jvm 这4个上下文。

度量在conf/hadoop-metrics.properties文件里配置。默认情况下，全部上下文都被配置成不公布度量。

经常使用的度量类：FileContext、GangliaContext、NullContextWithUpdateThread、CompositeContext。

java管理扩展(JMX）

JMX是一个标准的JAVA API，可监控和管理应用。

Hadop包含多个托管bean（MBean）。能够将Hadoop度量公布给支持JMX的应用。例如以下：

JDK自带的JConsole工具能够浏览JVM中MBean。很多第三方的监控和报警系统（如Nagios和Hyperic）均可查询MBean，因此通过这些系统使用JMX监控一个Hadoop集群就非常寻常，前提是启用远程訪问JMX功能和合理设置集群的安全级别，包含password认证、SSL连接和SSLclient认证等。

比較普遍的方案是，同一时候使用Ganglia和Nagios这种警告系统来监控Hadoop系统。Ganglia擅长高效地收集大量度量，并以图形化界面呈现；Nagios和类似系统擅长在某项度量的关键阀值被突破之后及时报警。

维护和升级

关于这部分。暂时先不深入学习，在工作过程中如有涉猎，再返回此处进一步记录。