zookeeper3.4.6配置实现自动清理日志
在使用zookeeper过程中，我们知道，会有dataDir和dataLogDir两个目录，分别用于snapshot和事务日志的输出（默认情况下只有dataDir目录，snapshot和事务日志都保存在这个目录中，正常运行过程中，ZK会不断地把快照数据和事务日志输出到这两个目录，并且如果没有人为操作的话，ZK自己是不会清理这些文件的，需要管理员来清理，这里介绍4种清理日志的方法。在这4种方法中，推荐使用第一种方法，对于运维人员来说，将日志清理工作独立出来，便于统一管理也更可控。毕竟zk自带的一些工具并不怎么给力，这里是社区反映的两个问题：
第一种，也是运维人员最常用的，写一个删除日志脚本，每天定时执行即可：
#!/bin/bash
#snapshot file dir
dataDir=/home/yunva/zookeeper/bin/snapshot/version-2
#tran log dir
dataLogDir=/home/yunva/zookeeper/bin/snapshot/version-2
#zk log dir
#Leave 30 files
count=30
count=$[$count+1]
ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f
ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f
crontab -e
2 2 * * * /bin/bash /root/clean_zook_log.sh > /dev/null 2>&1
以上这个脚本定义了删除对应两个目录中的文件，保留最新的30个文件，可以将他写到crontab中，设置为每天凌晨2点2分执行一次就可以了。
第二种，使用ZK的工具类PurgeTxnLog，它的实现了一种简单的历史文件清理策略，简单使用如下：
java -cp zookeeper.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir><snapDir> -n <count>
第三种，对于上面这个Java类的执行，ZK自己已经写好了脚本，在bin/zkCleanup.sh中，所以直接使用这个脚本也是可以执行清理工作的。
第四种，从3.4.0开始，zookeeper提供了自动清理snapshot和事务日志的功能，通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。这两个参数都是在zoo.cfg中配置的：
autopurge.purgeInterval 这个参数指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。
autopurge.snapRetainCount 这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个。
通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。
这两个参数都是在zoo.cfg中配置的，将其前面的注释去掉，根据需要修改日志保留个数：
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/yunva/zookeeper-3.4.6/data
dataLogDir=/data/yunva/zookeeper-3.4.6/logs
clientPort=2181
autopurge.snapRetainCount=20
autopurge.purgeInterval=48
server.1=u04rtv01.yaya.corp:2888:3888
server.2=u04rtv02.yaya.corp:2888:3888
server.3=u04rtv03.yaya.corp:2888:3888
server.4=u04rtv04.yaya.corp:2888:3888
server.5=u04rtv05.yaya.corp:2888:3888
此处我们的配置就是：保留48小时内的日志，并且保留20个文件
autopurge.purgeInterval 这个参数指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。
autopurge.snapRetainCount 这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个。
查看zook日志的方法
cd /data/zookeeper-3.4.6
java -classpath .:lib/slf4j-api-1.6.1.jar:zookeeper-3.4.6.jar org.apache.zookeeper.server.LogFormatter /data/zookeeper-3.4.6/logs/version-2/log.400000001
# java -classpath .:lib/slf4j-api-1.6.1.jar:zookeeper-3.4.6.jar org.apache.zookeeper.server.LogFormatter /data/zookeeper-3.4.6/logs/version-2/log.200000001
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
ZooKeeper Transactional Log File with dbid 0 txnlog format version 2
11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x0 zxid 0x200000001 createSession 6000 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x2 zxid 0x200000002 create '/consumers,,v{s{31,s{'world,'anyone}}},F,1 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x4 zxid 0x200000003 error -101 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x5 zxid 0x200000004 create '/brokers,,v{s{31,s{'world,'anyone}}},F,2 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x6 zxid 0x200000005 create '/brokers/ids,,v{s{31,s{'world,'anyone}}},F,1 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x8 zxid 0x200000006 create '/brokers/topics,,v{s{31,s{'world,'anyone}}},F,2 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0xa zxid 0x200000007 error -101 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0xb zxid 0x200000008 create '/config,,v{s{31,s{'world,'anyone}}},F,3 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0xc zxid 0x200000009 create '/config/changes,,v{s{31,s{'world,'anyone}}},F,1 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0xe zxid 0x20000000a create '/config/topics,,v{s{31,s{'world,'anyone}}},F,2 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x10 zxid 0x20000000b error -101 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x11 zxid 0x20000000c create '/admin,,v{s{31,s{'world,'anyone}}},F,4 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x12 zxid 0x20000000d create '/admin/delete_topics,,v{s{31,s{'world,'anyone}}},F,1 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x16 zxid 0x20000000e create '/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a302c2274696d657374616d70223a2231343739393030333933363132227d,v{s{31,s{'world,'anyone}}},T,5 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x1a zxid 0x20000000f error -101 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x1b zxid 0x200000010 create '/controller_epoch,#31,v{s{31,s{'world,'anyone}}},F,6 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x27 zxid 0x200000011 error -101 11/23/16 7:26:33 PM CST session 0x25890ed3acc0000 cxid 0x2c zxid 0x200000012 create '/brokers/ids/0,#7b226a6d785f706f7274223a2d312c2274696d657374616d70223a2231343739393030333933363932222c22686f7374223a226c6f63616c686f7374222c2276657273696f6e223a312c22706f7274223a393039327d,v{s{31,s{'world,'anyone}}},T,1 11/23/16 7:28:47 PM CST session 0x25890ed3acc0000 cxid 0x33 zxid 0x200000013 closeSession null
11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0x0 zxid 0x200000014 createSession 6000 11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0xa zxid 0x200000015 create '/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a302c2274696d657374616d70223a2231343739393030363137383833227d,v{s{31,s{'world,'anyone}}},T,7 11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0xf zxid 0x200000016 setData '/controller_epoch,#32,1 11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0x1b zxid 0x200000017 error -101 11/23/16 7:30:17 PM CST session 0x15890ed3ace0000 cxid 0x20 zxid 0x200000018 create '/brokers/ids/0,#7b226a6d785f706f7274223a2d312c2274696d657374616d70223a2231343739393030363137393735222c22686f7374223a226c6f63616c686f7374222c2276657273696f6e223a312c22706f7274223a393039327d,v{s{31,s{'world,'anyone}}},T,2 11/23/16 7:37:04 PM CST session 0x25890ed3acc0001 cxid 0x0 zxid 0x200000019 createSession 6000 11/23/16 7:37:04 PM CST session 0x25890ed3acc0001 cxid 0xe zxid 0x20000001a error -110 11/23/16 7:37:04 PM CST session 0x25890ed3acc0001 cxid 0x11 zxid 0x20000001b closeSession null
11/23/16 7:37:36 PM CST session 0x15890ed3ace0001 cxid 0x0 zxid 0x20000001c createSession 6000 11/23/16 7:37:36 PM CST session 0x15890ed3ace0001 cxid 0xe zxid 0x20000001d create '/brokers/ids/1,#7b226a6d785f706f7274223a2d312c2274696d657374616d70223a2231343739393031303536343337222c22686f7374223a22302e302e302e30222c2276657273696f6e223a312c22706f7274223a393039327d,v{s{31,s{'world,'anyone}}},T,3 11/23/16 7:38:11 PM CST session 0x25890ed3acc0002 cxid 0x0 zxid 0x20000001e createSession 6000 11/23/16 7:38:11 PM CST session 0x25890ed3acc0002 cxid 0xe zxid 0x20000001f create '/brokers/ids/2,#7b226a6d785f706f7274223a2d312c2274696d657374616d70223a2231343739393031303931393335222c22686f7374223a22302e302e302e30222c2276657273696f6e223a312c22706f7274223a393039327d,v{s{31,s{'world,'anyone}}},T,4 11/23/16 8:17:24 PM CST session 0x15890ed3ace0000 cxid 0x32 zxid 0x200000020 closeSession null
11/23/16 8:17:24 PM CST session 0x25890ed3acc0002 cxid 0x14 zxid 0x200000021 create '/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a322c2274696d657374616d70223a2231343739393033343434333634227d,v{s{31,s{'world,'anyone}}},T,8 11/23/16 8:17:24 PM CST session 0x25890ed3acc0002 cxid 0x17 zxid 0x200000022 setData '/controller_epoch,#33,2 11/23/16 8:17:24 PM CST session 0x25890ed3acc0002 cxid 0x25 zxid 0x200000023 error -101 11/23/16 8:17:29 PM CST session 0x25890ed3acc0002 cxid 0x2a zxid 0x200000024 closeSession null
11/23/16 8:17:29 PM CST session 0x15890ed3ace0001 cxid 0x1b zxid 0x200000025 create '/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a312c2274696d657374616d70223a2231343739393033343439333833227d,v{s{31,s{'world,'anyone}}},T,9 11/23/16 8:17:29 PM CST session 0x15890ed3ace0001 cxid 0x1e zxid 0x200000026 setData '/controller_epoch,#34,3 11/23/16 8:17:29 PM CST session 0x15890ed3ace0001 cxid 0x2b zxid 0x200000027 error -101 11/23/16 8:17:29 PM CST session 0x15890ed3ace0001 cxid 0x2e zxid 0x200000028 closeSession null
EOF reached after 40 txns.
zookeeper3.4.6配置实现自动清理日志的更多相关文章
- zookeeper3.4.6配置实现自动清理日志【转】
在使用zookeeper过程中,我们知道,会有dataDir和dataLogDir两个目录,分别用于snapshot和事务日志的输出(默认情况下只有dataDir目录,snapshot和事务日志都保存 ...
- sql server 定期自动清理日志
https://blog.csdn.net/dqs78833488/article/details/51372491
- 自动清理MySQL binlog日志
开启MySQL binlog日志的服务器,如果不设置自动清理日志,默认binlog日志一直保留着,时间一长,服务器磁盘空间被binlog日志占满,导致MySQL数据库出错. 使用下面方法可以安全清理b ...
- Tomcat8.5.24日志自动清理(maxDays)功能探究
前言 测试人员反馈tomcat目录下的日志占用空间很大,需要自动清理.接到这个反馈时,想象着应该是一个很简单的功能,tomcat应该已经实现了日志的自动清理功能.于是乎,我先到网上查询了如何自动清除t ...
- IIS日志自动清理
IIS在运行的过程中日志会不停地增长,若iis的网站被频繁的调用或不当的调用,则会产生很多日志.我在系统运维的时候曾出现过20G的系统盘,由于合作商开发的程序有问题,每几百微秒调用一次web服务,短期 ...
- 自动清理SQLServerErrorLog错误日志避免太大
问题描述:开启SQLServer自动备份后,备份文件越来越多,有没有及时清理,导致服务器空间不足,备份出错,以至于出现几个G的ErrorLog文件,影响系统的登录管理. 解决办法:定期清理SQLSer ...
- shell脚本自动清理服务器日志、图片等信息
在做性能测试的时候,linux服务器时常会产生大量数据,如日志信息,图片信息,文件信息等,压测一段时间后,导致服务器磁盘空间暂满而崩溃,每天手动清理比较麻烦, 利用shell脚本自动清理,脚本如下 1 ...
- Linux**系统实现log日志自动清理
Linux系统实现log日志自动清理 *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: ...
- 自动清理N天前的二进制日志
这里以自动清理5天前的二进制日志为例(做了同步或依赖于二进制日志备份的请慎用): 以root身份登录数据库,执行以下命令: ; 首次设置expire_logs_days参数后需要执行flush log ...
随机推荐
- 隐藏技能go:linkname
来源:https://blog.csdn.net/lastsweetop/article/details/78830772 什么是go:linkname 指令的格式如下: //go:linkname ...
- 暑期OI大电影——不看后悔整个OI生涯！
惊爆~!! 2018暑期OI大电影要开始放送啦~!! 各位OI骨灰级大咖登场荧幕~!! 近四十部大电影纷至沓来~!! 著名特级导演CCF.著名特级编剧刘汝佳等纷纷给予高度评价~!! 观众朋友们,OI的 ...
- Linux中的Diff和Patch
本文主要记录两个命令的学习情况:diff 和 patch.diff 和 patch 是一对工具,使用这对工具可以获取更新文件与历史文件的差异,并将更新应用到历史文件上.在数学上说,diff就是对两个集 ...
- 弹指之间 -- Polychord
CHAPTER 19 复合和弦 Polychord 示例歌曲:爱很简单,恰是你的温柔
- mysql盲注学习-1
mysql: 1.left() //left()函数 left(a,b)从左侧截取a,的b位 2.mid() //mid()函数 参数 描述 column_name 必需.要提取字符的字段. star ...
- Unity触发器有时失效的原因
unity里面的触发器有时候不起作用,我原以为是失效了.其实是这样的,所谓触发器就是被触发的物体,例如你子弹打小怪.如果把子弹设置成触发器那么是不成功的,因为子弹是主动的啊,那么把小怪设置成触发器了呢 ...
- 关于Springboot打包错误的问题 | Failed to execute goal org.springframework.boot:spring-boot-maven-plugin
最近在使用spring-boot整合多模块,但是在父pom中打包maven install时总会报错:Failed to execute goal org.springframework.boot:s ...
- CentOS下设置vim的tab键为4格
# vim /etc/vimrc 在最后一行添加 set softtabstop=4 或者set tabstop=4 或者在~/.vimrc中添加也可以 没有~/.vimrc文件可以创建一个 另: s ...
- ObservableData-另一种姿势的观察者模式
使用 数据的定义 public class TestModel { private static TestModel mInstance; public static TestModel GetIns ...
- 海明码 CRC冗余校验码
海明码(也叫汉明码)具有一位纠错能力.本文以1010110这个二进制数为例解释海明码的编码和校验方法 确定校验码的位数x 设数据有n位,校验码有x位.则校验码一共有2x种取值方式.其中需要一种取值方式 ...