hadoop异常: java.io.EOFException: Unexpected end of input stream

执行hadoop任务时报错：

-- ::, INFO [main] org.apache.hadoop.mapred.MapTask: Processing split: Paths:/flume/nginx/app1/--//app1@flume23_10003_4..gz:+,/flume/nginx/app2/--//app2@flume174_10003_9..gz:+
-- ::, WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:kwang (auth:SIMPLE) cause:java.io.EOFException: Unexpected end of input stream
-- ::, WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.io.EOFException: Unexpected end of input stream
    at org.apache.hadoop.io.compress.DecompressorStream.decompress(DecompressorStream.java:)
    at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:)
    at java.io.InputStream.read(InputStream.java:)
    at org.apache.hadoop.util.LineReader.fillBuffer(LineReader.java:)
    at org.apache.hadoop.util.LineReader.readDefaultLine(LineReader.java:)
    at org.apache.hadoop.util.LineReader.readLine(LineReader.java:)
    at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.skipUtfByteOrderMark(LineRecordReader.java:)
    at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.nextKeyValue(LineRecordReader.java:)
    at org.apache.hadoop.mapreduce.lib.input.CombineFileRecordReaderWrapper.nextKeyValue(CombineFileRecordReaderWrapper.java:)
    at org.apache.hadoop.mapreduce.lib.input.CombineFileRecordReader.nextKeyValue(CombineFileRecordReader.java:)
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:)
    at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:)
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:)
    at org.apache.hadoop.mapred.YarnChild$.run(YarnChild.java:)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:)

产生原因：

以上报错原因基本都是由于HDFS上的文件异常结束导致的，通过查看log，发现/flume/nginx/app1/2019-06-05/00/app1@flume23_10003_4.1559665890953.gz:0+0 这个文件的大小为0字节。要理解空文件的产生，先需要清楚集群flume采集日志的逻辑，集群中采用flume采集到日志写入到HDFS，采集过程中flume会先新建一个*.gz.tmp文件，flume持续的向*.gz.tmp文件中追加数据，在写周期到达时将*.gz.tmp重命名为*.gz，而空文件产生的原因是flume新建了*.gz.tmp文件后，没有新数据产生，重命名后文件大小为空。

解决办法：
将空gz文件删除后重新运行任务即可。

还有另一种原因，当设置了如下参数对文件进行分割切片时，导致部分文件为空文件，从而解析过程中出现异常。当然，这种原因取决于文件的原始格式是否可压缩，像gz、snappy、lzo文件是不可分割的，设置如下参数就不会出现以上报错，像orc文件是可分割的，设置如下参数可能会出现以上异常。

-Dmapreduce.input.fileinputformat.split.minsize= -Dmapreduce.input.fileinputformat.split.maxsize=

【参考资料】

[1]. 菜菜光, hadoop Unexpected end of input stream 错误.