将nginx搜集到的日志通过flume转到hive

背景介绍:

Nginx为app打点数据，打点日志每小时滚动一次。目录结构如下

文件中的数据如下( cat -A 2019072414r.log 后的结果，-A为显示隐形的符号，下方^A为指定的分隔符。$为行尾结束符，换行的时候会自带，不用关注。)

61.140.204.111^A20190724145548^A1563951348^A^A8671a9d406bd8733bf42d9644a009660^AJYH^Awin7^A2^Ahc_GC5H6A^A^A3^A1.0^ALSEARCH^AOTHER^A1563951348^A$

123.147.250.151^A20190724145552^A1563951352^A^A8a0fc9239dd100880053b1e1d0678a37^AYEAR^Awin10^A2^Ahc_GC5H6A^A^A3^A1.0^AOPENSINPUT^AOTHER^A1563951352^A$

182.142.98.33^A20190724145553^A1563951350^Aac74b3d92fdfea6249a8188556de2215^A380b0e9844c5aa4905a952908dc7ddf9^ALZQ^Awin7^A2^Ahc_GC5H6A^A^A3^A1.0^AOPENSINPUT^AOTHER^A1563949711^A$

182.142.98.33^A20190724145553^A1563951350^Aac74b3d92fdfea6249a8188556de2215^A380b0e9844c5aa4905a952908dc7ddf9^ALZQ^Awin7^A2^Ahc_GC5H6A^A^A3^A1.0^AOPENSINPUT^AOTHER^A1563951350^A$

^A分隔的15列数据依次对应如下列。

ip,date,upload_time,uid,uuid,pbv,opv,av,ch,mac,sc,st,event_type,pg,action_time

现在需要将这部分数据收集到hive中，以供后续分析计算使用。

实施步骤一.配置flume将数据存到HDFS

1.配置flume

flume需要在nginx所在服务器上

###source

a2.sources = s2#ngxlog source

a2.sources.s2.type = TAILDIR

a2.sources.s2.channels = c3

a2.sources.s2.filegroups = f2

a2.sources.s2.filegroups.f2 = /data/logs/nginx/event_log/.*log

a2.sources.s2.positionFile=/data/logs/nginx/event_log/taildir_position.json

a2.sources.s2.fileHeader = true

a2.sources.s2.fileHeader=true

a2.sources.s2.fileHeaderKey=file

a2.sources.s2.interceptors = i3

a2.sources.s2.interceptors.i3.type = regex_extractor

a2.sources.s2.interceptors.i3.regex =(\\d\\d\\d\\d\\d\\d\\d\\d\\d\\d\\d\\d\\d\\d)

a2.sources.s2.interceptors.i3.serializers = s2

a2.sources.s2.interceptors.i3.serializers.s2.type = org.apache.flume.interceptor.RegexExtractorInterceptorMillisSerializer

a2.sources.s2.interceptors.i3.serializers.s2.name = timestamp

a2.sources.s2.interceptors.i3.serializers.s2.pattern = yyyyMMddHHmmss

###channel

a2.channels = c3

#huochai ngxlog channel

a2.channels.c3.type = memory

a2.channels.c3.capacity = 50000

a2.channels.c3.transactionCapacity = 10000

a2.channels.c3.byteCapacityBufferPercentage = 20

a2.channels.c3.byteCapacity = 134217728

###sinks

a2.sinks =  k3

#k3-huochai ngxlog sink

a2.sinks.k3.type = hdfs

a2.sinks.k3.channel = c3

a2.sinks.k3.hdfs.path = /user/flume/huochai-events/day=%Y%m%d

a2.sinks.k3.hdfs.filePrefix =%Y%m%d%H

a2.sinks.k3.hdfs.rollInterval = 0

a2.sinks.k3.hdfs.batchSize=1000

a2.sinks.k3.hdfs.idleTimeout=300

a2.sinks.k3.hdfs.threadsPoolSize=10

a2.sinks.k3.hdfs.rollSize = 134217728

a2.sinks.k3.hdfs.rollCount=0

##fileType SequenceFile DataStream CompressedStream

a2.sinks.k3.hdfs.fileType= SequenceFile

a2.sinks.k3.hdfs.codeC= snappy

2.对flume配置的一些说明

1) source类型为TAILDIR，这个类型是flume1.7.0才出来的，不过在CDH中1.6.0版本的flume就有这个功能了，具体说明见

http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html#taildir-source

2) positionFile配置的文件，如果不存在会自动生成，并且如果不存在，会从头读所有文件的。

3) regex_extractor这个拦截器的作用是把每条log中 20190724145548 这个格式的时间改为 timestamp的时间，放到flume的Event消息的Header中。

意即使用regex_extractor后Header中会产生一个key-value对为(timestamp:1563951348000)

4) a2.sinks.k3.hdfs.path = /user/flume/huochai-events/day=%Y%m%d

%Y%m%d 会取timestamp中的时间，转成20190724这个格式，也就是说，一条log最终会放入到哪个路径下，是由这条log中的时间决定的。

总体流程就是: log中20190724145548 被通过 regex_extractor提取成key-value对(timestamp:1563951348000)，再由sinks.k3中配置的(%Y%m%d)解析出来，获得最终的路径。

3.刷新flume配置/重启flume，查看HDFS中的结果

路径正常按照日期生成

每个日期下每个小时会生成一个文件。

注解:为什么要每个小时生成一次文件

因为正在写入的文件后缀为tmp，tmp后缀的文件在hive的外部表中是没有办法读到数据的。每小时生成一次，可以保证数据最多只延迟一个小时。

实施步骤二.根据HDFS路径创建hive外部表

1.在shell客户端中连接hive。

beeline

!connect jdbc:hive2://bigdata.node2:10000

hadoop

回车

2.创建外部表

 CREATE EXTERNAL TABLE huochai_events (

       ip STRING,

       date STRING,

       upload_time bigint,

       uid string,

       uuid string,

       pbv string,

       opv string,

       av string,

       ch string,

       mac string,

       sc string,

       st string,

       event_type string,

       pg string,

       action_time bigint

     )

     PARTITIONED BY (day STRING)

row format delimited fields terminated by '\u0001'

STORED AS

SequenceFile

     LOCATION 'hdfs:///user/flume/huochai-events';

3.关于外部表的一些说明

1) 一个目录一个分区:PARTITIONED BY (day STRING) 对应的是HDFS目录中的 /user/flume/huochai_evetns/day=20190723

2) '\u0001' 就是^A的unicode码。row format delimited fields terminated by '\u0001'

3) STORED AS SequenceFile。Snappy+SequenceFile Hive的一种比较流行的压缩存储组合。日志是csv类型的，因此用这种组合。

4) 建议不要用json数据格式，否则你会遇到很多问题。比如Hive找不到JsonSerDe,或者Hive能用了Spark On Hive有问题，又或者前两者都能用了，但Spark2 On Hive找不到。

如果执意要用是可以通过配置来解决的，但是配置步骤比较繁琐，这里不单独讲。

4.修复分区

此时外部表已经创建完成了，但如果你select一下这个表，会发现没有记录。

原因是外部表下新增的分区是无法自动被发现的，需要在beeline中执行下面语句。

msck repair table huochai_events;

之后再select，便能查到数据了。

需要注意的是，明天生成新的目录之后，你需要重新再执行一次这条命令。

你可以将这句话写在离线任务中。

比如在spark应用代码中加上如下一句:

sql("msck repair table huochai_events").show

注意引号中的sql语句结尾没有分号。

总结

每个实际业务中可能有不同的实践场景，数据格式也不尽相同，处理方式也有很多选择(你可能还想用hive-stream)，但是目前这种处理方式应该是flume-hive的最佳实践了。

另外数据格式方面，最好使用扁平的csv类型格式的数据，hive可以处理json/数组/struct这类的数据，但并不代表它擅长处理这些。