【踩坑记录】记录一次使用Python logging库多进程打印日志的填坑过程

背景：

• 项目使用Python自带的logging库来打印日志
• 项目部署在一台Centos7的机器上
• 项目采用gunicorn多进程部署

过程：

1、LOG日志代码封装：

采用logging库，并设置when='MIDNIGHT'，以天为单位，进行日志分割，前一天的日志会自动加上前一天的日期，最新日志始终会打印到mock-service.log文件中，以下为log打印的封装

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/8/8 22:10
# @Author  :
# @Site    :
# @File    : Logger.py
# @Software: PyCharm

"""
日志类。通过读取配置文件，定义日志级别、日志文件名、日志格式等。
一般直接把logger import进去
from utils.log import logger
logger.info('test log')
"""
import os
import platform
import logging
from logging.handlers import TimedRotatingFileHandler

class Logger:
    def __init__(self, logger_name='framework'):
        self.logger = logging.getLogger(logger_name)
        logging.root.setLevel(logging.NOTSET)
        if platform.system() == 'Windows':
            # win机器路径
            self.log_path=os.path.join(os.path.dirname(os.path.dirname(__file__)),'log')
        else:
            # 服务器路径
            self.log_path='/log'
        self.log_file_name = 'mock-service.log'  # 日志文件
        self.backup_count = 30  # 保留的日志数量
        # 日志输出级别
        self.console_output_level = 'INFO'
        self.file_output_level = 'INFO'
        # 日志输出格式
        pattern = '%(asctime)s - %(filename)s [Line:%(lineno)d] - %(levelname)s - %(message)s'
        self.formatter = logging.Formatter(pattern)

    def get_logger(self):
        """在logger中添加日志句柄并返回，如果logger已有句柄，则直接返回
        我们这里添加两个句柄，一个输出日志到控制台，另一个输出到日志文件。
        两个句柄的日志级别不同，在配置文件中可设置。
        """
        if not self.logger.handlers:  # 避免重复日志
            console_handler = logging.StreamHandler()
            console_handler.setFormatter(self.formatter)
            console_handler.setLevel(self.console_output_level)
            self.logger.addHandler(console_handler)

            # 每天重新创建一个日志文件，最多保留backup_count份
            # 每天生成的日志文件没有后缀，需要修改源码：TimedRotatingFileHandler类下的doRollover方法-->
            # dfn = self.rotation_filename(self.baseFilename + "." + time.strftime(self.suffix, timeTuple)后面拼接后缀名
            # dfn = self.rotation_filename(self.baseFilename + "." + time.strftime(self.suffix, timeTuple) + ".log")
            file_handler = TimedRotatingFileHandler(filename=os.path.join(self.log_path, self.log_file_name),
                                                    when='MIDNIGHT',
                                                    interval=1,
                                                    backupCount=self.backup_count,
                                                    delay=True,
                                                    encoding='utf-8'
                                                    )
            file_handler.setFormatter(self.formatter)
            file_handler.setLevel(self.file_output_level)
            self.logger.addHandler(file_handler)
        return self.logger

logger = Logger().get_logger()

2、调用LOG封装

实际调用时，采用导包并设置别名的方式进行log打印，以下为实际打印log的demo

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/12/2 10:32
# @Author  :
# @Site    :
# @File    : 1.py
# @Software: PyCharm
# @Description:

from util.Logger import logger as log

class test1:
    def log_test(self):
        log.info('log测试')

if __name__ == '__main__':
    t = test1()
    t.log_test()

3、项目部署环境

该项目目前部署在centos7的一台服务器上面，不过我觉得这个应该和部署在哪里没关系

4、出现的问题（坑，大坑）

项目持续在服务器上面运行着，但有时候会发现，日志根本没有打印到mock-service.log文件中，比如下面这个，12月29的调用日志，打到了27号的log文件中了

解决思路：

1、第一次尝试：

为了找到原因，之前有些调用log打印是写在init方法里面，然后下面的方法用self.log进行调用，后面为了解决这个问题，把所有init里面的初始化都去掉了，现在我觉得问题可能还是出在调用上，日志封装应该没有问题。现在这个项目有些是类方法在打印日志，有些是封装的函数在打印日志。整个项目是用flask框架写的，然后启动run.py文件，我觉得可能是出现在了某一个地方的调用一直占用了日志打印的进程，导致后面再调用日志打印的时候打印到了之前的文件中，只是一个猜测，也不知道怎么去验证这个问题

2、第二次尝试

经过再一次的百度、谷歌查找，发现Python的这个自带的logging库是不支持多进程的，后面查到可通过如下方式进行解决这个问题

关于logging库不支持多进程的文章：

https://juejin.im/post/5bc2bd3a5188255c94465d31

https://zhuanlan.zhihu.com/p/29557920

• 自行对logging库重写，以解决该问题
• 通过别人已封装好的第三方库

我选择第二种方式，不重复造轮子，经过一番对比，最终选择了这个第三方库concurrent_log，详细的可去github仓库查看，并且作者对重写后的代码进行了测试，证明已解决多线程、多进程的问题

安装方式：

pip3 install concurrent_log

github地址：

https://github.com/huanghyw/concurrent_log

关于自己对logging库重写也是可以的，下面介绍几篇重写的文章

• https://www.cnblogs.com/restran/p/4743840.html
• https://www.jianshu.com/p/d874a05edf19