logrotate机制&原理

logrotate机制&原理

centos系统中默认安装logrotate，logrotate主配置文件：/etc/logrotate.conf，其中定义了系统默认的logrotate规则，当系统中安装了RPM 软件包时，使用include定义其子配置文件的位置：/etc/logrotate.d/*，include选项十分重要，一些应用把日志转储参数存放在/etc/logrotate.d ，典型的应用有：apache，nginx，cron，syslog等，这样，只要管理一个 /etc/logrotate.conf 文件就可以了。 使用时配合crontab定期执行logrotate命令，cron的主配置文件/etc/anacrontab中定义了crontab的默认执行规则，其中系统自带的每1天执行的cron计划配置文件放在/etc/cron.daily/目录下，在该目录下的logrotate文件内容如下：

#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi

该脚本每天定时执行一次，即系统默认的logrotate时间计划。如果想更改系统默认的logrotate时间计划，可以将该文件挪走，然后在crontab中指定自己的时间计划，如：

#每两天执行一次系统日志切割
* * */2 * * /usr/sbin/logrotate -f /etc/logrotate.conf

春雨logrotate

关于logrotate的cron计划在/etc/cron.daily/logrotate，与cron配合使用，春雨弃用系统自带的cron计划，制定cron如下：

春雨cron计划：
17 *   * * *  root    run-parts /etc/cron.hourly
47 23  * * *  root    run-parts /etc/cron.daily
47 6   * * 7  root    run-parts /etc/cron.weekly
52 6   1 * *  root    run-parts /etc/cron.monthly    

即，在每天23:47执行/etc/cron.daily计划下的操作，进行日志切割,logrotate规则配置文件如下：

[root@control ~]$ ls /etc/logrotate.d/

系统日志logrotate过程

• 执行cron计划

47 23  * * *  root    run-parts /etc/cron.daily

• 执行/etc/cron.daily的logrotate文件

#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi

• 执行/etc/logrotate.conf配置的规则，根据“include /etc/logrotate.d”参数执行/etc/logrotate.d/下的logrotate配置文件，系统日志相关的是syslog：

/var/log/cron
/var/log/maillog
/var/log/secure
/var/log/messages
/var/log/spooler
{
    #每日切割
    daily
    #忽略执行过程中的所有错误
    missingok
    #时间戳，默认是年月日；可以使用dateformat参数自定义
    dateext
    #转储周期为10天，十天前的日志会被删除
    rotate 10
    #不切割空日志文件
    notifempty
    #通常prerotate和postrotate脚本为每一个轮转的日志运行，
    #sharedscripts的作用是使所有的日志轮转完成后再执行脚本
    sharedscripts
    #定义日志切割完成后的操作，作用是重新定义进程日志文件描述符，是日志写入新的日志文件
    postrotate
        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
    endscript
}

项目日志logrotate过程

nginx日志logrotate过程

/usr/local/nginx/logs/*.log {
daily
dateext
rotate 10
missingok
# 不创建新日志文件
nocreate
# notifempty
# compress  #压缩切割后的日志
sharedscripts
#发送USR1信号来通知Nginx重新打开日志文件
postrotate
    /bin/kill -USR1 `cat /var/run/nginx.pid` || true
endscript
}

该过程与系统日志切割的区别是对新生成的日志文件的处理方式，因为程序日志输出所指向的位置是由文件的iNode号来识别的，所以nginx、uwsgi等程序的日志在切割完成后需要执行postrotate指定的脚本来更新程序所指向的日志文件inode。

uwsgi

/home/workspace/log/uwsgi/uwsgi.*log {
    # 每日轮询
    daily
    # 旧日志文件以更新日期命名
    dateext
    # 最多10个归档日志,多余10个,最早的日志文件被删除
    rotate 10
    # 在日志轮循期间，任何错误将被忽略，例如“文件无法找到”之类的错误。
    missingok
    # 不创建新日志文件
    nocreate
    sharedscripts
    postrotate
         /bin/touch /home/workspace/scripts/uwsgi/touch_reopen_log
    endscript
}

关于postrotate

postrotate后面跟随的是一个命令行，一般是用来重新生成日志文件或者冲定义应用所指向的文件描述符（fd：file description），拿nginx和uwsgi为例：

nginx

• 完成日志切割后创建新的nginx日志文件，此时该文件的fd发生改变
• nginx中日志输出对应的文件fd未同步更新，nginx会向原fd对应的日志文件写数据
• “/bin/kill -USR1 cat /var/run/nginx.pid || true”，更新nginx默认日志文件的fd到新建的日志文件（该效果等同于reload）。

uwsgi

• uwsgi不能通过reload方式创建自己的log文件
• logrotate配置文件中使用参数create创建新的uwsgi日志文件
• touch-logreopen参数：当指定的文件被touch过后，会让uwsgi重定向日志输出对应的文件fd，并且不会终止当前的服务（不是stop+start，而是reload的概念）
• logrotate配置文件postrotate：“/bin/touch /home/workspace/scripts/uwsgi/touch_reopen_log”

日志rotate方式

logrotate提供了两种日志rotate方式，两种方式的区别在于新的日志文件的处理方式。

• 一种就如上面nginx所述，在完成rotate之后创建新文件，然后更新程序的日志文件描述符指向到新日志文件（即将新日志写入新日志文件） ；
• 另一种方式叫做copytruncate，该方式是先创建新文件存储旧日志，然后清空旧日志文件（echo “” > old_logfile），此时文件的iNode号不会发生改变，新产生的日志会继续写入旧的日志文件中（可以简单的理解为旧日志内容做了一次备份），需要注意的是，该方法会有部分日志丢失：日志在拷贝完到清空文件这段时间内，程序输出的日志没有备份就清空了。

综上，优先选用第一种方法进行日志切割。

关于/bin/kill -HUP

"/bin/kill -USR1 `cat /var/run/nginx.pid` || true"  

看到这条命令很容易想到：

/bin/kill -HUP `cat /var/run/nginx.pid 2> /dev/null` 2> /dev/null || true

这两条命令的大概含义是重载nginx服务，目的是重新生成nginx的日志文件。

>/dev/null 2>&1，/dev/zero

/dev/null

/dev/null：是设备自带的一个控设备，可以理解为一个黑洞文件，写入它的所有东西都将消失，通常被用于丢弃不需要的输出流。

/dev/zero

在类Unix操作系统中，/dev/zero是一个特殊文件，当你读到它时，它会提供无线的空字符，其中的一个典型用法是用它提供的字符流来覆盖信息，另一个常见用法是产生一个特定大小的空白文件（在临时增加swap空间时有用到）。

2>&1

这个其实是三个部分组成的：2，>&，1 。在/usr/include/unistd.h中，你可以找到如下代码：

#define STDIN_FILENO    0   #define STDOUT_FILENO   1   #define STDERR_FILENO   2  

2表示stderr；1表示stdout；0表示stdin，而“&>”则表示把符号左边的内容以符号右边的形式输出。

(adsbygoogle = window.adsbygoogle || []).push({});