笔记-python-module-logging.循环日志、多进程日志

笔记-python-module-logging.循环日志、多进程日志

1.      logging循环日志

循环日志分为按大小切分和按时间切分，对应实现类如下。

1.1.  RotatingFileHandler

常规文件回滚，需要指定文件名，encoding,maxBytes

如果maxbytes=0 或backupcount=0情况下不回滚，也就是只写到一个文件中。

新的日志永远写入filename.log，当它满的时候会将filename.log改名为filename.log.1或其它附加值；

def _set_file_handler(self, level=None):
    file_name = os.path.join(LOG_PATH, '{}.log'.format(self.name))
    file_handler =
RotatingFileHandler(file_name,
                                       maxBytes=5000,
                                       backupCount=5,
                                       encoding='utf-8')
    if not level:
        file_handler.setLevel(self.level)
    else:
        file_handler.setLevel(level)
    formatter = logging.Formatter('%(asctime)s
%(filename)s [line:%(lineno)d] %(levelname)s %(message)s')
    file_handler.setFormatter(formatter)
    self.file_handler
= file_handler
    self.addHandler(file_handler)

1.2.   
TimeRotatingFileHandler

def _set_time_rotating_handler(self, level=None):
    file_name = os.path.join(LOG_PATH, '{}.log'.format(self.name))
    time_handler =
logging.handlers.TimedRotatingFileHandler(file_name,
                                                            
when='h',
                                             
               interval=1,
                                                            
backupCount=5)
    if not level:
        time_handler.setLevel(self.level)
    else:
        time_handler.setLevel(level)
    formatter = logging.Formatter('%(asctime)s
%(filename)s [line:%(lineno)d] %(levelname)s %(message)s')
    time_handler.setFormatter(formatter)
    time_handler.suffix = "%Y-%m-%d_%H-%M-%S.log"
    self.addHandler(time_handler)

需要注意的就是suffix的书写

1.3.   
总结

有几个坑要注意：

1. 尽量使用Logger(__name__)，一般情况下是不需要日志传递的
2. 使用getLogger返回的实际是一个日志树
3. logger实例初始化的propagate属性是true，即向父辈传递消息。而且消息是直接传递给handler。

2.     
multiprocessing and logging

logging 是线程安全的，handler 内部使用了
threading.RLock() 来保证同一时间只有一个线程能够输出。

但是，在使用 logging.FileHandler 时，多进程同时写一个日志文件是不支持的。

测试时发现多个进程写同一个文件是可以的，但部分文档说如果写长字符串时会出问题，测试写5000个字符的日志没问题，更长未确认。

在日志回滚时一定会出问题。

多进程写日志回滚的代码如下：

t
= self.rolloverAt - self.interval

if self.utc:

timeTuple = time.gmtime(t)

else:

timeTuple = time.localtime(t)

dfn = self.baseFilename + "." + time.strftime(self.suffix,
timeTuple)

if os.path.exists(dfn):

os.remove(dfn)

os.rename(self.baseFilename, dfn)

关键是在每个进程在过了rotate时间点之后写第一条日志时，都会执行这个doRollover，判断文件是否存在，如果存在则删除，改名，往新的.log中写入，等多个进程都做一遍后，前一周期的日志完全删除，本周期的日志也会有部分被删除。

术语一点的讲，就是在对文件操作时，没有对多进程进行一些约束。

解决办法：

1. 解决文件重名问题：

既然问题是文件重名，那么就不让文件有重名，实际就是每个进程各写一个文件；有两种方法：

1）在文件名中加入pid，问题是老的pid不会被自动删除，无法自维护，不过可以通过定时任务检查并删除。

2）另一种方法是使用进程name做为logger名，在创建进程时给出不同的name，这样不会出现上面的问题；

不让文件重名的好处是可以单独追踪每个进程的日志，坏处是日志不集中。

建议使用这种方式，写日志有两种情况：

1-一般情况下每个进程是负责不同任务的，分开记录便于查找；

2-如果确实需要多个进程执行一样的任务，这时在查找日志记录时是比较麻烦的，不确定在哪个日志文件中，但考虑到工程效率，本方法也是可行的。

1. 使用独立进程接收并写日志，logging提供了sockethandler；
2. 改写logging的日志回滚类代码，不太喜欢，每次还得注意环境问题。
3. 进程锁，效率问题，方法可行，但考虑各种因素，一般不会用。

2.1.   
一些问题：windows下多进程异常

报错：The "freeze_support()"
line can be omitted if the program is not going to be

原因及解决方法：

应该是在其它的子进程
里又开了进程，

把创建进程部分放到 if __name__ == ‘__main__’下即可

例：

if __name__ == '__main__':
    p = Process(target=func, name='my_process')
    p.daemon = True
    p.start()
    p.join()
    print('process
execute complete.')

3.     
Logging.getLogger

getLogger是模块级的函数，实际是调用manager.getLogger()

def getLogger(name=None):

"""

Return a logger with the specified name, creating it if necessary.

If no name is specified, return the root logger.

"""

if name:

return Logger.manager.getLogger(name)

else:

return root

继续：manager.getLogger()

def
getLogger(self, name):

"""

Get a logger with the specified name (channel name), creating it

if it doesn't yet exist. This name is a dot-separated hierarchical

name, such as "a", "a.b", "a.b.c" or
similar.

If a PlaceHolder existed for the specified name [i.e. the logger

didn't exist but a child of it did], replace it with the created

logger and fix up the parent/child references which pointed to the

placeholder to now point to the logger.

"""

rv = None

if not isinstance(name, str):

raise TypeError('A logger name must be a string')

_acquireLock()

try:

if name in self.loggerDict:

rv = self.loggerDict[name]

if isinstance(rv, PlaceHolder):

ph = rv

rv = (self.loggerClass or
_loggerClass)(name)

rv.manager = self

self.loggerDict[name] = rv

self._fixupChildren(ph, rv)

self._fixupParents(rv)

else:

rv = (self.loggerClass or
_loggerClass)(name)

rv.manager = self

self.loggerDict[name] = rv

self._fixupParents(rv)

finally:

_releaseLock()

return rv

logging通过manager.loggerDict维护了一个logger列表，实现了相同名称返回同一个loogger。

如果logger名不存在，则创建一个新的：

rv = (self.loggerClass or
_loggerClass)(name)

基本等同于logger(name)

另外一点是logger的继承关系，是通过下面两个方法实现的

self._fixupChildren(ph, rv)

self._fixupParents(rv)