mongodb日志服务器方案

描述

目前要做的是多台服务器上的程序日志（如订购日志，交易日志，接口是否成功等）汇总到1个mongodb服务器，每日大约1亿的量，然后有图表实时展现，和报表展现日志信息

注意：

没有把所有日志放入1张表里面，因为日志插入很频繁会导致锁表，二是量大了影响查询速度。没有考虑用分片，因为针对我们的业务查询，分片没得分表效率高。用上了mongodb的副本集来保证服务器稳定运行 和 主从库读写分离来提高效率。

方案

1：简化入库，使用log4j配置把log4j日志以统一的json格式直接存入到mogodb

2：建立4张表

a：总表（全部日志）【单独建个库来保存，这样防止写入全局锁影响查询】

b：小时临时表：

格式:2013122106 注：2013年12月21日6时log4j写入的日志汇总

小时表：（crontab或者quartz定时统计前一小时临时表的业务所需数据，如某小时交易总量，成功率，各种聚合值等）

c：建立固定集合来存放最近2小时的数据。大小固定，效率高，自动会替换老的数据【随时在插入数据，所以会影响查询，建议放到mongodb的内存数据库和固定集合，提升效率】

d：天表（小时表的汇总）

业务处理

1小时内图标实时展现（固定集合能满足）

当天图表实时展现（小时表+固定集合能满足）

表报统计（小时表或者天表，有需求+月表或者年表）

遇到问题

mongodb使用import导入数据速度不稳定，所以如果导入数据有时间要求的话，建议使用程序批导入，

mongodb对插入会出现锁表，locked集合，影响集合查询， 不要把log4j的日志直接写入总表，在统计小时业务聚合信息，因为总表数量大了，效率很慢。建议log4j按小时写入的临时集合，在临时集合中统计小时业务数据到小时表