WEB项目日志分析系统思考

一、为什么需要日志分析系统

　　对ETL系统中数据转换和存储操作的相关日志进行记录以及实时分析有助于我们更好的观察和监控ETL系统的相关指标（如单位时间某些操作的处理时间），发现系统中出现的缺陷和性能瓶颈。

　　由于需要对日志进行实时分析，所以Storm是我们想到的首个框架。Storm是一个分布式实时计算系统，它可以很好的处理流式数据。利用storm我们几乎可以直接实现一个日志分析系统，但是将日志分析系统进行模块化设计可以收到更好的效果。

　　模块化的设计至少有两方面的优点：

　　1、模块化设计可以使功能更加清晰。整个日志分析系统可以分为“数据采集-数据缓冲-数据处理-数据存储”四个步骤。

　　　　（1）Apache项目下的flumeng框架可以很好的从多源目标收集数据，所以我们用它来从ETL系统中收集日志信息；

　　　　（2）由于采集数据与处理数据的速度可能会出现不一致，所以我们需要一个消息中间件来作为缓冲，kafka是一个极好的选择；

　　　　（3）然后对流式数据的处理，我们将选择大名鼎鼎的storm了，同时为了更好的对数据进行处理，我们把drools与storm进行了整合，

　　　　　　  分离出了数据处理规则，这样更有利于管理规则；

　　　　（4）最后，我们选择redis作为我们处理数据的存储工具，redis是一个内存数据库，可以基于健值进行快速的存取。

　　2、模块化设计之后，storm和前两个步骤之间就获得了很好的解耦，storm集群如果出现问题，数据采集以及数据缓冲的操作还可以继续运行，数据不会丢失。

二、相关框架的介绍和安装

　　1、Flume是一个高可用、高可靠、分布式的海量日志采集、聚合和传输系统。

　　　 Flume支持在日志系统中定制日志发送方，用于收集数据；

　　　 Flume提供对数据进行简单处理，并写到各种数据接收方的能力。它拥有一个简单的、可扩展的流式数据流架构

　　2、Kafka是linkedin用于日志处理的分布式消息队列。

　　3、Storm是一个分布式的、高容错的实时计算系统。

　　　  Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。

　　　  hadoop为我们提供了Map和Reduce原语，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语。