HBase-compact的作用、两种实现方式、触发时机

了解Flush触发条件后，这里产生了一个问题，频繁的flush会产生大量小文件，在对hbase进行查询时会产生大量IOPS，读取性能会受到很大的影响，同时也会给hdfs造成一定压力，hbase提供了一个Compact机制来合并这些HFile，以下对Compact机制做详细介绍。

在hbase中每当有memstore数据flush到磁盘之后，就形成一个storefile，当storeFile的数量达到一定程度后，就需要将 storefile 文件来进行 compaction 操作。

一、Compaction 的作用:

1、 合并文件（将多个小的 HFile 合并成一个更大的 HFile）
2、 清除过期，多余版本的数据（对过期的数据（超过TTL、被删除、超过最大版本号）进行删除）
3、 提高读写数据的效率

二、Compaction 的分类:

HBase 中实现了两种 compaction 的方式：minor and major。这两种 compaction 方式的区别是：
1、Minor 操作只是选择部分小的、相邻的文件合并为一个大文件。
2、Major 操作是对 Region 下的Store下的所有StoreFile执行合并操作，最终的结果是整理合并出一个文件。并且在这个阶段将过期的数据、已删除的数据和超出版本的数据进行物理上的清除。

三、Compaction 的触发时机:

1.MemStore Flush：每次 MemStore Flush 之后都会检查hfile数量是否满足了 Minor compaction 的条件（ hbase.hstore.compaction.min 默认6），如果满足就会进行Compaction，如果一个Store内的HStoreFile文件数量超过指定值（ hbase.hstore.blockingStoreFiles 默认15），则针对此HRegion的更新将被锁定直到一个compaction完成或者超过hbase.hstore.blockingWaitTime（默认30000 ms）时间。

2. CompactionCompactionChecker：HBase 专门启动一个 CompactionChecker 线程来周期性的检查是否需要进行 compaction（执行周期配置：hbase.hregion.majorcompaction 默认7天）。

3.手动触发：通过HBase Shell或者HBase API等方式 执行 compact、major_compact等命令。

Compact的详细过程，请查看：https://www.jianshu.com/p/eef5dc6f3cf4

深入理解  Compaction 机制： https://blog.csdn.net/w892824196/article/details/119961625