切割日志（mysql,nginx,php tomcat）使用logrotate

1、简介

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把这个过程叫做“转储”。我们可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过 cron 程序来执行，比如系统每天的定时任务会执行一次logrotate操作来完成系统日志的转储。logrotate 的默认配置文件是 /etc/logrotate.conf，一般自定义一个新的配置文件来完成相应日志切割管理。

logrotate是一个日志管理程序，用来把旧的日志文件删除（备份），并创建新的日志文件，这个过程称为“转储”。我们可以根据日志的大小，或者根据其使用的天数来转储。

logrotate 的执行由crond服务实现。在/etc/cron.daily目录中，有个文件logrotate，它实际上是个shell script，用来启动logrotate。logrotate程序每天由cron在指定的时间（/etc/crontab）启动。因此，使用ps是无法查看到logrotate的。如果它没有起来，就要查看一下crond服务有没有在运行。在执行logrotate时，需要指定其配置文件/etc/logrotate.conf。这 个配置文件的注释写得很清楚，没有必要再罗嗦了。只想强调下面这行，它的作用包含存放在/etc/logrotate.d目录下面的配置文件，不可或缺。 如果你安装了一个新的服务，它的日志转储的规则可以建立一个专门的配置文件，放在/etc/logrotate.d下面。它其实也因为下面的这句话，在 logrotate服务启动时被读取。

每个存放在/etc/logrotate.d目录里的文件，都有上面格式的配置信息。在{}中定义的规则，如果与logrotate.conf中的冲突，以/etc/logrotatate.d/中的文件定义的为准

测试参数

 -?或--help：在线帮助；
 -d或--debug：详细显示指令执行过程，便于排错或了解程序执行的情况；
 -f或--force ：强行启动记录文件维护操作，纵使logrotate指令认为没有需要亦然；
 -s<状态文件>或--state=<状态文件>：使用指定的状态文件；
 -v或--version：显示指令执行过程；
 -usage：显示指令基本用法。
eg :logrotate -vf /etc/logrotate.conf    #强制执行

----- 可直接手动执行
$ logrotate --force /etc/logrotate.d/nginx

----- 显示详细的信息；而且--debug/-d实际上不会操作具体文件(Dry Run)
$ logrotate --debug --verbose --force /etc/logrotate.d/nginx

2 主要参数

 compress     通过gzip 压缩转储以后的日志
 nocompress     不需要压缩时，用这个参数
 copytruncate     用于还在打开中的日志文件，把当前日志备份并截断
 nocopytruncate     备份日志文件但是不截断
 create mode owner group     转储文件，使用指定的文件模式创建新的日志文件
 nocreate     不建立新的日志文件
 delaycompress      和 compress 一起使用时，转储的日志文件到下一次转储时才压缩
 nodelaycompress      覆盖 delaycompress 选项，转储同时压缩。
 errors address      专储时的错误信息发送到指定的Email 地址
 ifempty      即使是空文件也转储，这个是 logrotate 的缺省选项。
 notifempty      如果是空文件的话，不转储
 mail address      把转储的日志文件发送到指定的E-mail 地址
 nomail      转储时不发送日志文件
 olddir directory      转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
 noolddir      转储后的日志文件和当前日志文件放在同一个目录下
 prerotate/endscript      在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行
 postrotate/endscript      在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行
 daily      指定转储周期为每天
 weekly      指定转储周期为每周
 monthly      指定转储周期为每月
 rotate count      指定日志文件删除之前转储的次数， 指没有备份， 指保留5 个备份
 tabootext [+] list 让logrotate      不转储指定扩展名的文件，缺省的扩展名是：.rpm-orig, .rpmsave, v, 和 ~
 size size      当日志文件到达指定的大小时才转储，Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).
 dateext  切换后的日志文件会附加上一个短横线和YYYYMMDD格式的日期，没有这个配置项会附加一个小数点加一个数字序号.
 dateformat 配合dateext使用可以为切割后的日志加上YYYYMMDD格式的日期
 sharedscripts #共享脚本,下面的postrotate <s> endscript中的脚本只执行一次即可；

在定义日志文件时也可以使用通配符，但最好少用通配符，因会它会包括已经切换过的日志，要用的话最好在*号后加上扩展名, 如*.log。

常见日志切割

nginx的日志切割

首先切换到/etc/logrotate.d

cd  /etc/logrotate.d
touch nginx

配置

 #也可以分开写
 #/var/log/nginx/access.log /var/log/nginx/err.log{}
 /usr/local/nginx/logs/*.log {
 #频次为每天运行
     daily
 #保留3天的日志
     rotate 3
 #如果日志文件不存在，则不报错，直接忽略
     missingok
 #如果日志文件为空则不执行轮替操作
     notifempty
     compress
 #转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统；
     olddir /data/log_backup/
 #日志共享脚本，也就是说等access和error两个日志都rotate之后再执行下面的脚本
     sharedscripts
 #日期格式默认access.log-20171206
     dateext
 #总是与compress选项一起用，delaycompress选项指示logrotate不要将最近的归档压缩，压缩将在下一次轮循周期进行。这在你或任何软件仍然需要读取最新归档时很有用。
     delaycompress
     su root
     postrotate
   [ -e /usr/local/nginx/logs/nginx.pid ] && /bin/kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid 2>/dev/null) 2>/dev/null || :
     endscript
 }

不过也可以脚本，如下

 #!/bin/bash
 PATH=$PATH:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games
 logs_path="/usr/local/nginx/logs/"
 logs_backup_path="/usr/local/nginx/logs/backup_log/"

 #以前的日志文件。

 log_name="accessaa.log"
 log_err="error.log"
 pid_path="/usr/local/nginx/logs/nginx.pid"

 mv ${logs_path}${log_name} ${logs_backup_path}${log_name}_$(date +"%Y-%m-%d").log

 mv ${logs_path}${log_err}  ${logs_backup_path}${log_err}_$(date +"%Y-%m-%d").log

 kill -USR1 `cat ${pid_path}`

mysql日志配置

参考https://www.percona.com/blog/2013/04/18/rotating-mysql-slow-logs-safely/

 #日志路径，以下参数参照上边的
 /var/mysql/slow_query.log {
     compress
     delaycompress
     rotate
     create  mysql mysql
     size 1G
     olddir  /data/backup/mysql_log/
     dateext
     missingok
     notifempty
     sharedscripts
     postrotate
        /usr/local/bin/mysql -uroot -hhost -ppwd -P3306 -e 'select @@global.long_query_time into @lqt_save; set global long_query_time=2000; select sleep(2); FLUSH LOGS; select sleep(2); set global long_query_time=@lqt_save;' >/dev/null >&
     endscript

mysql的err.log按照他自己的来写

MySQL本身提供了一个rotate的参考配置文件，在support-files目录下，文件名为mysql-log-rotate，内容如下：

 # The log file name and location can be set in
 # /etc/my.cnf by setting the "log-error" option
 # in either [mysqld] or [mysqld_safe] section as
 # follows:
 #
 # [mysqld]
 # log-error=/usr/local/mysql/data/mysqld.log
 #
 # In case the root user has a password, then you
 # have to create a /root/.my.cnf configuration file
 # with the following content:
 #
 # [mysqladmin]
 # password = <secret>
 # user= root
 #
 # where "<secret>" is the password.
 #
 # ATTENTION: The /root/.my.cnf file should be readable
 # _ONLY_ by root !

 /usr/local/mysql/data/mysqld.log {
         # create  mysql mysql
         notifempty
         daily
         rotate
         missingok
         compress
     postrotate
         # just if mysqld is really running
         if test -x /usr/local/mysql/bin/mysqladmin && \
            /usr/local/mysql/bin/mysqladmin ping &>/dev/null
         then
            /usr/local/mysql/bin/mysqladmin flush-logs
         fi
     endscript

参照上边的根据自己的具体情况来写err.log的，也可以用上边的

 mysqladmin根据实际路径来写，其他参数自行添加
 /data/mysql/log/errt.log {
         create  mysql mysql
         notifempty
         daily
         rotate
         missingok
         # compress
     postrotate
         # just if mysqld is really running
         if test -x /opt/mysql/bin/mysqladmin && \
            /opt/mysql/bin/mysqladmin ping &>/dev/null
         then
            /opt/mysql/bin/mysqladmin flush-logs
         fi
     endscript
 } 

php日志

 /var/log/php-fpm/*log {
     rotate  10
     missingok
     notifempty
     dateext
     sharedscripts
     delaycompress
     olddir  /data/backup/php_log/
     create 0664 www www
     postrotate
         /bin/kill -SIGUSR1 `cat /var/run/php-fpm/php-fpm.pid 2>/dev/null` 2>/dev/null || true
     endscript
 }

tomcat日志

# cat /etc/logrotate.d/tomcat
/usr/local/tomcat/logs/catalina.out {
daily
rotate
missingok
dateext
compress
notifempty
copytruncate
}

测试

logrotate --force /etc/logrotate.d/tomcat  立即截断

参考：https://linux.cn/article-4126-1.html

http://www.ywnds.com/?p=5471

https://jin-yang.github.io/post/logrotate-usage.html

https://zhuanlan.zhihu.com/p/24880144