RTB日志分析MR程序设计

到新公司三个月了，上个月做的是Beacon项目，详细的设计思想还没有写文档。这两周开始搞Hadoop，开始阅读相关论文。开始编写MR程序。开始写java，大学时用java较多，工作后就一直在用c/c++/php/shell/js 等。并不排斥语言，各有各的优劣。只是需要从底层的角度去理解各程序的运行态。

Hadoop的原理架构方面的文章等再深入了解之后再写。先写下上周做的RTB日志分析MR程序的设计，懒得画图，仅用文字表述。

需求：
    1. 读入RTB log日志，对log日志进行分析 按照特定格式输出，并对某些字段做 异常 检测。日志为json格式，顺序无关。默认输入格式不可靠（必填字段 可能会没有 等）
    2. 对错误的字段进行出错次数统计，并记录错误日志。

现有代码：
    1. RTB字段对应的一个类，字段 为类的属性，序列化及反序列化时使用。类似于C/C++的结构体
    2. 一次读入字段，对每个值进行parse，在Parse的辅助类内添加异常报警代码。大量的if else 语句
    3. 依赖于公共的RTB对象，RTB对象属性变化时，线上对他依赖的程序会宕机。(强制检测，是好处，亦是风险)。

现有代码的不足：
    1. 代码量多，代码逻辑不少重复。过量的if语句
    2. 报警相关的数据存储结构跨越三个类，三个文件。辅助类型判断解析类承载了业务逻辑。
    3. 字段变更或者增删时 改动较多，库的依赖将导致牵一发而动全身。维护成本较高。
    4. 配置相关的代码文件跨越度太大，用的地方过于随意。机器间迁移运行时无法通过代码直观知道配置，易人维护成本高。环境迁移调试成本高。

现有代码的优点：
    1. 主要业务逻辑代码直观，RTB字段封装为jar类库，后期增加输入配置时，便于接入。字段类型变更时会导致依赖于其的程序宕机（也是一种好处，强制检测）
    2. RTB字段设计为类属性，代码效率较高。运行时直接栈上读取。

新业务环境下的改进：

目标：
    1. 业务逻辑清晰，输入输出字段对应关系明确。
    2. 字段的异常检测统一处理，统一报告错误。不能遍处理字段遍检测，因为输入字段可能没有，这种情况下如果对应的目标字段不允许为空就悲催了
    3. 简化配置：去除不必要的配置。如报警时的字段名称配置。配置统一处理，统一管理。
    4. warning异常时，记录原始输入字段

设计一：
设计的数据结构：
    LinkedHashMap保存输入字段与目标字段的映射关系。 RecordField 为自定义对象类。保存了目标Key， 目标Value，异常检测标准。
    private Map<String, RecordField> mapfields = new LinkedHashMap<String, RecordField>();
    初始化时如下：
          mapfields.put("vendor_id", new RecordField("vendorID", RecordField.E_NOT_EMPTY|RecordField.E_DIGITAL|RecordField.E_WARN));
          mapfields.put("request_time", new RecordField("requestTime", RecordField.E_NOT_EMPTY|RecordField.E_FATAL));
          mapfields.put("user_id", new RecordField("userID", RecordField.E_NOT_EMPTY));
          mapfields.put("campaign_id", new RecordField("campaignID", RecordField.E_NOT_EMPTY));

异常处理：
       RecordField 保存异常检测策略，检测时遍历每个字段，调用其Check方法获得异常结果即可。

交付代码时老员工强制要求使用现有的RTB类，出于尊重，只能用了。但又不想大量的if else语句及字符串的相等判断；于是有了设计二，主要用到了java的反射。

设计二：

linkedhaspmap 保存原始输入与目标输出之间的映射关系；
     对现有类(包含近百个public属性字段)的每个属性编写Set方法，方法名为void SetFieldName(String), 基本是体力劳动了，基本是对字段的类型转换复制(上一个设计中为制定 了一些配置规则自动转换)
     对每个原始输入字段，找到匹配的目标字段，通过目标字段反射获得其Set方法， 调用Set赋值；静态变量保存反射的函数地址，因反射查找函数的过程较慢
     异常检测：对需要做异常检测的字段专门编写其对应的Check方法，并保存需要做检测的字段数组，字段映射完成后遍历需要检测的字段，根据字段名获取对应的Check方法并   执行