Storm业务功能

监控平台当前使用storm对日志进行流式分析计算，用于支撑监控数据清洗，后来逐渐在storm上搭建起数据在线关联，数据离线关联，明细数据清洗，日志搜索等功能，本章节对各功能进行简要概述。

对storm不熟悉的话，建议先阅读相关文献：http://ifeve.com/getting-started-with-stom-index/

1. 正常业务数据清洗

该功能是mng系统最基本功能，也是最早搭建起来的，其目的是从日志中清洗出具有业务监控含义的数据，当前监控平台绝大多数数据均是通过该功能进行数据清洗，该功能的整体流程图如下：

数据清洗流程为：从源节点采集日志数据进入到mng-storm系统，数据流向split节点并在split节点完成日志记录的分割，随后数据进入count节点进行业务数据的统计和计算，计算完成后，在sum节点进行数据的汇总和落地到hbase。后续章节会详细介绍各节点的功能及实现。

2. 在线数据关联

该功能的出现是因为在实际业务监控中，某些日志由于业务系统的限制，无法打印完整的日志信息，如当面付SDK系统只有在请求阶段有完整的日志打印出来，而创建和支付阶段由于是走监听消息对监听内容做打印而无法打印出阶段信息，推动业务系统进行改造代价较大，由于各阶段都有相同的交易号信息，因此可以通过交易号进行信息关联，补全日志的创建，支付阶段。基于此，mng-storm系统实现了一套在线关联方案。

数据清洗过程复用split,count,sum节点功能，但在split节点和count节点中间增加一补全节点，该节点缓存一定时间的日志数据，并根据交易号和时间信息进行日志补全，由于补全信息来源于日志本身，因此又叫在线关联。

3. 明细数据

该功能较为简单，将日志信息进行简单的过滤后存储下来，提供给mng系统读取，通过数据存储落地的方式打破两个系统之间之间的隔阂。该功能的出现是因为早期mng-storm系统在未进行水平拆分和垂直拆分之前，功能相对薄弱，当需要进行数据离线关联时，会有大量读取hbase操作，会导致数据处理延时甚至积压。因此为实现较为耗时的数据关联功能，先通过storm系统将日志明细落地，由mng负责读取相关明细数据，并通过时间片调度任务的方式将数据分散到mng各机器上处理，减轻单机节点压力，通过该种方案监控平台实现了余额宝用户属性分析，2014年双十二线下交易及用户分析功能。

该功能在storm上较为简单，split处理完数据后，发送到detail节点，detail节点进行进行数据的处理及落地。在明细数据处理详细介绍中会介绍平台如何结合两个系统共同实现复杂关联的实现，在早期storm功能没那么强大的时候，该方案极其巧妙的解决了离线关联这一高难度问题。

4. 日志分析

日志分析功能同样是将日志数据落地，但该功能主要是将日志原始数据落地，同时根据交易号和pid等信息作为索引，通过交易号和pid在前端页面输入即能查到相关的原始日志信息，便于相关人员排查问题。

功能显而易见，在logAnalyse节点进行索引处理及原始日志落地。

5. 离线关联

明细数据功能的实现虽然完美的解决了离线数据关联的问题，但也有其缺点：数据处理链路过长；系统延时较高；tt数据源有延时的时候，无法自动恢复数据。随着mng系统垂直拆分和水平拆分功能后，当前系统已经具备在storm系统上实现离线数据关联的能力。

系统在split节点和count节点之前添加一个节点用于离线关联，在offline节点实现数据与离线数据的关联。

总结

本节概括介绍当前mng系统所涵盖的基本功能，及其链路实现，后续会陆续介绍各部分功能的实现以及storm应用中的一些通用性的问题。