nginx日志切割并使用flume-ng收集日志

nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。
第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。
第二步向nginx主进程发送USR1信号。
nginx主进程接到信号后会从配置文件中读取日志文件名称，重新打开日志文件(以配置文件中的日志名称命名)，并以工作进程的用户作为日志文件的所有者。
重新打开日志文件后，nginx主进程会关闭重名的日志文件并通知工作进程使用新打开的日志文件。
工作进程立刻打开新的日志文件并关闭重名名的日志文件。
然后你就可以处理旧的日志文件了。
nginx日志按日期自动切割脚本如下
#nginx日志切割脚本
#!/bin/bash #设置日志文件存放目录 logs_path="/usr/local/nginx/logs/" #设置pid文件 pid_path="/usr/local/nginx/nginx.pid" #重命名日志文件 mv ${logs_path}access.log ${logs_path}access_$(date-d"yesterday"+"%Y%m%d").log
#向nginx主进程发信号重新打开日志 kill -USR1 `cat ${pid_path}`
#以上是对日志的处理，可是重新命名后原来的那个access.log已经不存在了，使用tail -f 时候flumeng无法再继续收集新产生的日志了，这个时候我们把flume收集日志的命令改为tail -F 收集日志即可。

详细见 http://liyonghui160com.iteye.com/blog/2098777

保存以上脚本nginx_log.sh，设置定时执行。

设置上面的shell脚本文件加入到定时任务中去。crontab是linux下面一个定时任务进程。开机此进程会启动，它每隔一定时间会去自己的列表中看是否有需要执行的任务。

crontab  -e

0 0 * * * /data/wwwlogs/nginx_log_division.sh

会打开一个文件，加入上面的代码

格式为 "分 时 日 月 星期几  要执行的shell文件路径"。用*可以理解成“每”,每分钟，每个小时，每个月等等。

我设置是在凌晨0点0分运行nginx_log_division.sh脚本放到flume中bin文件夹下，脚本的内容就是重新生成一个新的日志文件。

nginx_log_division.sh代码：

1. #!/bin/bash
2. #设置日志文件存放目录
3. logs_path="/usr/local/nginx/nginxlog/"
4. #设置pid文件
5. pid_path="/usr/local/nginx/nginx-1.7.3/logs/nginx.pid"
6. #日志文件
7. filepath=${logs_path}"access.log"
8. # Source function library.
9. #重命名日志文件
10. mv ${logs_path}access.log ${logs_path}access_$(date -d '-1 day' '+%Y-%m-%d').log
11. #向nginx主进程发信号重新打开日志
12. kill -USR1 `cat ${pid_path}`

flumeng配置：

1. # A single-node Flume configuration
2. # Name the components on this agent
3. agent1.sources = source1
4. agent1.sinks = sink1
5. agent1.channels = channel1
6. # Describe/configure source1
7. agent1.sources.source1.type = exec
8. agent1.sources.source1.command = tail -n +0 -F /logs/access.log
9. agent1.sources.source1.channels = channel1
10. # Describe sink1
11. agent1.sinks.sink1.type = file_roll
12. agent1.sinks.sink1.sink.directory=/var/log/data
13. # Use a channel which buffers events in memory
14. agent1.channels.channel1.type = file
15. agent1.channels.channel1.checkpointDir=/var/checkpoint
16. agent1.channels.channel1.dataDirs=/var/tmp
17. agent1.channels.channel1.capacity = 1000
18. agent1.channels.channel1.transactionCapactiy = 100
19. # Bind the source and sink to the channel
20. agent1.sources.source1.channels = channel1
21. agent1.sinks.sink1.channel = channel1