环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) jdk1.7.0_80      zookeeper-3.4.11 一.事务日志和快照日志1.事务日志和快照日志概述配置文件:/home/cluster/zookeeper/conf/zoo.cfg事务日志目录:dataDir=/home/cluster/zookeeper/zkdata快照日志目录:dataLogDir=/home/cluster/zookeeper/logs 事务日志…

转自 :@ni掌柜nileader@gmail.com 地址 数据文件管理 默认情况下,ZK的数据文件和事务日志是保存在同一个目录中,建议是将事务日志存储到单独的磁盘上. 1 数据目录 ZK的数据目录包含两类文件: A.myid – 这个文件只包含一个数字,和serverid对应. B.snapshot. - 按zxid先后顺序的生成的数据快照. 集群中的每台ZK server都会有一个用于惟一标识自己的id,有两个地方会使用到这个id:myid文件和zoo.cfg文件中.myid文件存储在da…

转载请用注明:@ni掌柜 nileader@gmail.com 在使用zookeeper过程中,我们知道,会有dataDir和dataLogDir两个目录,分别用于snapshot和事务日志的输出(默认情况下只有dataDir目录,snapshot和事务日志都保存在这个目录中,关于这两个目录的详细说明,请看<ZooKeeper管理员指南 >). 正常运行过程中,ZK会不断地把快照数据和事务日志输出到这两个目录,并且如果没有人为操作的话,ZK自己是不会清理这些文件的,需要管理员来清理,这里介绍4…

Log-Cutter 是JessMA开源组织开发的一个简单实用的日志切割清理工具.对于服务器的日常维护来说,日志清理是非常重要的事情,如果残留日志过多则严重浪费磁盘空间同时影响服务的性能.如果用手工方式进行清理,会花费太多时间,并且很多时候难以满足实际要求.例如:如何在每个星期六凌晨3点把超过 2G 大的日志文件进行切割,保留最新的 100M 日志记录? 网上没有发现能满足本座要求的日志切割工具,因此花了一些闲暇时间自己写了一个.由于要在多个平台上使用,为了方便采用 Java 实现.本工具命名为…

Log-Cutter 是JessMA开源组织开发的一个简单实用的日志切割清理工具.对于服务器的日常维护来说,日志清理是非常重要的事情,如果残留日志过多则严重浪费磁盘空间同时影响服务的性能.如果用手工方式进行清理,会花费太多时间,并且很多时候难以满足实际要求.例如:如何在每个星期六凌晨3点把超过 2G 大的日志文件进行切割,保留最新的 100M 日志记录? 网上没有发现能满足本座要求的日志切割工具,因此花了一些闲暇时间自己写了一个.由于要在多个平台上使用,为了方便采用 Java 实现.本工具命名为…

Log-Cutter 是JessMA开源组织开发的一个简单实用的日志切割清理工具.对于服务器的日常维护来说,日志清理是非常重要的事情,如果残留日志过多则严重浪费磁盘空间同时影响服务的性能.如果用手工方式进行清理,会花费太多时间,并且很多时候难以满足实际要求.例如:如何在每个星期六凌晨3点把超过 2G 大的日志文件进行切割,保留最新的 100M 日志记录? 网上没有发现能满足本座要求的日志切割工具,因此花了一些闲暇时间自己写了一个.由于要在多个平台上使用,为了方便采用 Java 实现.本工具命名为…

from:https://my.oschina.net/jastme/blog/600573 flume+kafka+zookeeper 日志收集平台的搭建 收藏 jastme 发表于 10个月前 阅读 830 收藏 11 点赞 1 评论 0 摘要: flume+kafka+zookeeper 日志收集平台的搭建 首先说明下我的目的是什么,我的目的是单纯的收集nginx的日志以及各种应用程序的日志 nginx 日志 预留的位置 flume 和 kafka这个大小的作用是什么我就不再说了,大家去自…

在zookeeper的目录下新建一个脚本,内容如下(zookeeper bin下面也有zkCleanup.sh脚本,原理一样,都是调用java类) shell_dir=$(cd ")"; pwd) cd $shell_dir && java -.jar:lib/log4j-.jar:lib/slf4j-api-.jar:lib/slf4j-log4j12-.jar:conf/log4j.properties org.apache.zookeeper.server.Pur…

mysql bin-log 日志清理 发现mysql数据库目录中bin-log中日志文件非常大 [root@localhost var]# du -sh mysql-bin* | sort 1020K mysql-bin. .1G mysql-bin. 136K mysql-bin. 172K mysql-bin. 191M mysql-bin. 224M mysql-bin. 28K mysql-bin. .0K mysql-bin. .0K mysql-bin. .0K mysql-bin.…

最近在研究Zookeeper Storm Kafka, 顺便在本地搭了一套集群, 遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下: 1. 修改log4j.properties, 这个大家都应该会改, 红色加粗处是我修改的, 但是改了这边还是不生效 # Define some default values that can be overridden by system properties zo…

IIS默认日志记录在C:\WINDOWS\system32\LogFiles,时间一长,特别是子站点多的服务器,一个稍微有流量的网站,其日志每天可以达到上百兆,这些文件日积月累会严重的占用服务器磁盘空间.有必要对他们进行定期删除. 测试了一下网络上收集来的日志清理脚本,记录一下.自动清除日志目录下所有日志文件夹180天以前的日志文件,亲测有效. VBS版 'IIS日志清理VBS版代码(DelIISLog.vbs) '调用方法:DelIISLog "IIS日志所在路径",保留多少天的II…

1.先查看磁盘空间 df -h 2.找到容器的containerId-json.log文件,并清理(治标不治本,log迟早还会大的) 查看各个容器的log文件大小 find /var/lib/docker/containers/ -name *-json.log |xargs du -sh 执行清理 $ cat /dev/null > /var/lib/docker/containers/dfe25896671f0def031c5ffeb12dd335f7f54212c6ca5d3aca1c3f…

Topic日志清理 server.properties: log.cleanup.policy=delete (默认) 1. 按时间维度进行Kafka日志清理 log.retention.hours=1 log.retention.minutes=60 log.retention.ms=3600000 2. 按空间维度进行Kafka日志清理 log.retention.bytes=1073741824 无论时间还是空间维度,只要满足其中一个log就会被清理. 一小时后发现log已经被清除.…

1.创建一个日志清理脚本 #/bin/bash for i in `find /root/.pm2/logs -name "*.log"` do cat /dev/null > $i done 将该脚本添加至定时任务,每隔30分钟执行一次 */30 * * * * /usr/bin/sh /root/.pm2/logs/cleanlog.sh >/dev/null 2>&1 # 查看/opt目录下,所有[非当天]的日志文件及大小 find /opt -name…

##########################日志切割################################1.上传脚本到/usr/local/nginx/logs/下 2.并附执行权限chmod +x cut_nginx_log.sh 3.编写定时任务  每天0点0分 执行cut_nginx_log.sh脚本crontab -e0 0 * * *  root /usr/local/nginx/logs/cut_nginx_log.sh或者 vim /etc/crontab0 0…

CentOS系统中有两个日志服务,分别是传统的 rsyslog 和 systemd-journal systemd-journald是一个改进型日志管理服务,可以收集来自内核.系统早期启动阶段的日志.系统守护进程在启动和运行中的标准输出和错误信息,还有syslog的日志. 该日志服务仅仅把日志集中保存在单一结构的日志文件/run/log中,由于日志是经历过压缩和格式化的二进制数据,所以在查看和定位的时候很迅速. 本文转自米扑博客:Linux 系统 /var/log/journal/ 垃圾日志清理…

-- SQLServer 2008 的数据库日志清理 ,与 Sql2000 或 2005 的方法不一样,需要采用 下面的sql来清理 USE [master] GO ALTER DATABASE [数据库名] SET RECOVERY SIMPLE WITH NO_WAIT GO ALTER DATABASE [数据库名] SET RECOVERY SIMPLE GO USE [数据库名] GO DBCC SHRINKFILE (N'数据库日志文件名称' , 0,TRUNCATEONLY) GO…

首先确认 docker 使用的存储引擎 docker info 如果使用 Logging Driver: json-file, 那么日志默认在 /var/lib/docker/contains/xxxxx/xxxxx-json.log #!/bin/sh logs=`find /var/lib/docker/containers/ -name *-json.log` for logfile in $logs do echo " " > $logfile done 然后放到cron…

Docker容器在运行过程中会产生很多日志,久而久之,磁盘空间就被占满了,以下分享docker容器日志清理的几种方法 删除日志 在linux上,容器日志一般存放在 /var/lib/docker/containers/container_id/ 下, 以json.log结尾,找到这些文件,删除即可,需要注意的是如果容器处在运行状态,使用 rm -rf 方式删除日志后,通过 df -h 会发现磁盘空间并没有释放,原因是在Linux或者Unix系统中,通过 rm -rf 或者文件管理器删除文件,将会…

案例说明: 1.对于集群中的wal日志,除了需要在备库执行recovery外,在集群主备切换(switchover或failover)时,sys_rewind都要读取wal日志,将数据库恢复到一致性状态. 2.对于集群主备库中的wal日志,在清理时,经过测试,理论上在checkpoint所在的wal日志之前的都可以清理,但这是比较理想的状态,在生产环境中,建议保留3天到一个星期的wal日志,避免因为主备延迟,导致在集群切换时,因为缺少wal日志失败. 3.对于KingbaseES V8R6的集群…

案例说明: 在通过sys_archivecleanup工具手工清理wal日志时,在control文件中查询的检查点对应的wal日志是"000000010000000000000008",但是在执行清理时,误将"000000010000000000000009"以前的wal日志都被清理,在启动数据库时,无法读取checkpoint所在的wal日志,导致数据库启动失败. 数据库版本: test=# select version; version ------------…

WAL是Write Ahead Log的简写,和Oracle的redo日志类似,在R3版本存放在data/sys_log中,R6版本以后在data/sys_wal目录,在数据库访问过程中,任何对数据块的修改都会记录到wal日志,并写入到wal文件保存到磁盘,wal日志可用于数据库的实例恢复和数据恢复. 如果开启了归档,在目录archive_status下会有一些文件,以ready结尾的,表示可以归档但还没有归档,done结尾的表示已经归档.开启了归档后,只有归档成功的sys_wal文件才会被清除…

有用过Zookeeper的都知道zoo.cfg配置文件中有dataDir配置项用于存储数据,不过可能有些人不太清楚这个目录具体存储的是那些数据,默认情况下这个目录是用于存储Log(事务日志)与Snapshot(快照)数据,但是Zookeeper还提供了一个用于Log存储目录的配置项dataLogDir而dataDir用于存储Snapshot数据,Log文件写入频率非常高如果有对Snapshot文件经常操作或是对Zookeeper性能要求非常高可以为Log与Snapshot分别配置不同的目录存储:…

由于ubuntu日志文件syslog 和 kern.log 时刻在增长,一会儿就使得根目录文件夹不够用了,需使用如下命令清理 sudo -i输入密码echo  > /var/log/syslog echo  > /var/log/kern.log 就可以了…

MySQL bin-log 作用   1.数据恢复:如果你的数据库出问题了,而你之前有过备份,那么可以看日志文件,找出是哪个命令导致你的数据库出问题了,想办法挽回损失. 2.主从服务器之间同步数据:主服务器上所有的操作都在记录日志中,从服务器可以根据该日志来进行,以确保两个同步.   3.在什么时间会删除过期日志? 每次进行 LOG flush的时会自动删除过期的日志,那么什么时间才能触发log flush,手册上的解释为: 重启 MySQL bin-log 文件大小达到参数 max_binlo…

  --进入审计日志目录: cd $ORACLE_BASE/admin/$ORACLE_SID/adump --删除3个月前的审计文件: find ./ -type f -name "*.aud" -mtime +91|xargs rm -f --一次清空所有审计文件 find ./ -type f -name "*.aud"|xargs rm-f find ./ -mtime +7 -name "*.aud" -type f –delete 通…

前言:docker运行久了,会发现它的映射磁盘空间爆满,尤其是yum安装的docker的 解决方法: 1. 用脚本清理,一般yum安装的docker,其存储空间一般都在/var/lib/docker/containers下面,不同id对应不同容器,这个适用于docker容器运行时 下面是样本: #!/bin/sh logs=$(find /var/lib/docker/containers/   -name  *-json.log) for var  in $logs do echo"clean…

查看源代码得知zookeeper(版本3.4.13)内部的日志用的slf4j,项目启动zk连接了之后一直在打debug日志(如下所示),甚是讨厌,logback日志级别调成info没用. 17:24:53.707 [main-SendThread(DESKTOP-L0MISLK:2181)] DEBUG org.apache.zookeeper.ClientCnxn - Got ping response for sessionid: 0x1003d58f1cd0011 after 1ms 17…

1.在windows系统中,DB2 日志db2diag.log 在什么地方? 以下是IBM网站上的解答 Question Where is db2diag.log for DB2 V9.5 located on Windows? Answer In DB2 V9.5, the location of db2diag.log is changed: For Windows XP and Windows 2003 operating systems: C:\Documents and Setting…

从3.4版本以后,在配置文件中有2个参数分别设置快照的清理.默认没有打开. autopurge.purgeInterval=1 这个参数指定了清理频率,单位是小时,需要填写一个1或更大的整数,默认是0,表示不开启自己清理功能 autopurge.snapRetainCount=3 这个参数和上面的参数搭配使用,这个参数指定了需要保留的文件数目.默认是保留3个. 还有一种方法,系统提供了zkCleanup.sh脚本,执行该脚本也可以手工清理. # The number of millisecond…