开源高性能结构化日志模块NanoLog

  最近在写数据库程序，需要一个高性能的结构化日志记录组件，简单研究了一下Microsoft.Extensions.Logging和Serilog，还是决定重造一个轮子。

一、使用方法

  直接参考以下示例代码:

NanoLogger.Start();

DateTime? nullable = null;
const bool boolValue = true;
const char charValue = 'C';
const int intValue1 = 12345;
const int intValue2 = 0xABCDEF;
const string stringValue = "你好世界";
var point = new Point { X = 123, Y = 456 };
var person = new Person { Name = "Rick", Birthday = new DateTime(1977, 3, 1), Phone = "13861838709" };

var log = new NanoLogger();

log.Trace("Trace message");
log.Trace($"Trace {DateTime.Now}, {intValue1}, 0x{intValue2:X}");
log.Debug($"Debug {DateTime.Now:yyyy-MM-dd hh:mm:ss}, 你好世界!");
log.Info($"Info {point}, {person}, {charValue}");
log.Warn($"这是警告: {boolValue}");
log.Error($"发生异常: {nullable}, Msg={stringValue}");

NanoLogger.Stop();

执行后控制台输出如下图(记录的结构化值会高亮显示):

二、性能测试

  以下测试仅用一个日期类型参数： nanoLogger.Info($"Hello World {now}");

Method	Mean	Error	StdDev	Ratio	Lock Contentions	Allocated	Alloc Ratio
NanoLog	154.6 ns	0.91 ns	3.48 ns	0.04	-	-	0.00
MsLog	3,922.2 ns	49.13 ns	202.60 ns	1.00	0.0004	264 B	1.00
MsLogCodeGen	4,079.3 ns	52.49 ns	218.77 ns	1.04	0.0010	208 B	0.79

• NanoLog 本组件控制台输出
• MsLog Microsoft.Extensions.Logging控制台输出
• MsLogCodeGen 使用[LoggerMessageAttribute]代码生成方式

三、实现原理

+-----Logger Threads-----+                               +-----Background Thread----+
|                        |                               |                          |
|   logger.Info(xxx)     |                               |    ConsoleLogger.Log()   |
|                        |      +-----Log Queue---+      |                          |
|   logger.Debug(xxx)    |  ==> |-Log-|-Log-|-...-| ==>  |    FileLogger.Log()      |
|                        |      +-----------------+      |                          |
|   logger.Warn(xxx)     |                               |    OtherLogger.Log()     |
|                        |                               |                          |
+------------------------+                               +--------------------------+

• 日志记录时先判断对应的日志级别是否启用，不启用直接忽略。这里使用C# 6的InterpolatedStringHandlerAttribute自定义实现LogMessageBuilder，一方面避免值类型的装箱，另一方面可以记录结构化信息（名称、类型、值、格式化）；

• 启用则将日志消息、对应的属性类型及属性值序列化后写入LogMessage内。这里的序列化非常简单，仅相当于一个内存复制（参考下图）。LogMessage是一个结构体，如果序列化后的数据小于阀值则直接存储在内置的缓冲块内（没有Heap内存分配的问题），否则从ArrayPool内租用一个缓冲块存储超出部分；

+--------------------LogMessage 缓冲块-----------------------+
|-TokenType-|---Value---|-TokenType-|--------Value------|---|
|  Literal  | 5,"Hello" |   Int     | "name",12345,"X2" |   |
+-----------------------------------------------------------+

• 序列化后的事件信息(LogEvent)及消息数据(LogMessage)直接加入一个多生产者-单消费者的消息队列，至此前端日志记录过程结束，不阻塞后续代码执行；

• 后台线程循环从队列取出待处理日志，由配置的ILogger实现处理。例如ConsoleLogger格式化后输出至控制台；FileLogger将数据写入文件存储。

四、日志搜索

  结构化日志当然得支持结构化搜索，参考控制台工程NanoLog.File.Viewer使用Roslyn解析字符串表达式编译后过滤日志记录（参考下图):

• 表达式中e.XXX对应LogEvent的相关属性条件；
• 表达式中e["xxx"]["yyy"]对应LogMessage结构化记录的值条件。

五、本文小结

  最后GitHub地址：https://github.com/enjoycode/NanoLog.git, 作者个人能力实在有限Bug在所难免，如有问题请邮件联系或Github Issue，欢迎感兴趣的小伙伴们加入共同完善，当然更欢迎赞助项目或给作者介绍工作（目前找工作中）。