Kafka重启出错：Corrupt index found

日志记录

FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)
java.lang.IllegalArgumentException: requirement failed: Corrupt index found, index file (/home/kafka/kafka_2.9.2-0.8.1/logs/sampleTopic-1/00000000000006911940.index) has non-zero size but the last offset is 6911940 and the base offset is 6911940

该问题出现在kafka broker被强制干掉的情况，如果kill -9 或者所在机器直接异常。

Kafka启动时加载log的步骤：
  以一个partition log目录为例:：

<1> 首先删除所有后缀名为.cleaned和.delete的文件：
<2> 对于.swp结尾的文件，如果是log文件则直接恢复(去掉.swp, 变为.log)；
                        如果是index文件直接删掉（然后rebuild index文件）；
<3> 对于.index文件，如果没有对应的.log文件(同一个logSement其index和log的主文件名相同), 则删除该index文件；
<4> 对于.log文件，加载如内存；如果其没有对应的.index文件（可能在第<2>步中被删除), 重新恢复其index文件；
<5> 假设到这一步为止Kafka还没有加载到logSements, 说明该partition log目录下为空，一个新的log sement对象会被创建在内存；
    反之则转向第<6>步；
<6> 如果Kafka已经加载到log, 最会开始recover log segments。

至于为什么要recover log segments, 是因为大多数情况下，recover的目的就是检查Kafka上次关闭时是不是cleanShutDown （可通过检查partition log目录下是不是有后缀名为.kafka_cleanshutdown的文件确定）；
        如果是cleanShutDown(后缀名为.kafka_cleanshutDown的文件存在），则无需recover log segment；
        如果不是cleanShutDown, 则需要recover log segments；
    <6.1> 这里解释下什么是recover a log segment?
        在非cleanShutDown情况下， 一个log sement的log及index文件末尾可能有一些不合法的数据(invalid), 我们需要把它们截掉；
        首先要做的最简单检查，是log或index文件大小不能超过配置中设定的值（比方说一个.log文件中被设定最多保存10000条消息，超过10000条的都要抛弃掉）；     
<7> 最后做sanityCheck, 主要是检查每个log sement的index文件，确保不会加载一个出错的Log Segment；

解决方法：

删除每个topic-partition目录下的*.index文件，重启Kafka server, 如果数据多的话，rebuild index会花较长时间。等索引重新创建完成，kafka就能正常工作了。

可参考命令：

find kafka-logs/ -size 10485760c -name *.index -exec rm -rf {} \;