原 kafka 清除topic数据脚本 2018年07月25日 16:57:13 pete1223 阅读数:1028     #!/bin/sh       param=$1   echo "============="   echo ${param}           echo "kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param}"       kafka-topics.sh

一.概述 生产环境中,有一个topic的数据量非常大.这些数据不是非常重要,需要定期清理. 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二.清除方式 主要有3个: 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情,请参考链接: https://blog.csdn.net/u013256816/article/details/80418297 接下来,主要介绍基于时间的清除! kafka版本为:  2.11-1.1.0 zk版本为:  3.4.13 三.ka

Android清除本地数据缓存代码案例 直接上代码: /*  * 文 件 名:  DataCleanManager.java  * 描    述:  主要功能有清除内/外缓存,清除数据库,清除sharedPreference,清除files和清除自定义目录  */  package com.test.DataClean;    import java.io.File;   import android.content.Context;  import android.os.Environment

Ctrl+Shift+Del 打开清除浏览数据窗口 热键组合 实现的功能 F1 Google浏览器帮助中心 F12 打开Chrome控制台 Ctrl+J 进入“下载内容”页面 Ctrl+H 查看“历史记录”页面 Ctrl+D 将此页加入书签 Ctrl+F 打开/关闭 搜索框(搜索页面内的文字) Ctrl+P 打开打印窗口 Ctrl+T 新建标签页 Ctrl+W 关闭标签页 Ctrl++ 放大页面 Ctrl+- 缩小页面 Ctrl+0 默认页面字体大小 Ctrl+Shift+T 重新打开最近关闭的

Document Id 2075138 Symptoms 免责声明: 本文为 Purging old data from the database used by VMware vCenter Server (1025914) 的翻译版本. 尽管我们会不断努力为本文提供最佳翻译版本,但本地化的内容可能会过时. 有关最新内容,请参见英文版本. Purpose 如果您的 vCenter Server 无法启动,请确认VPX_EVENT和VPX_TASK表是否已满并根据需要手动清空数据库.   vCe

1. Kafka全部数据清空 kafka全部数据清空的步骤为: 停止每台机器上的kafka: 删除kafka存储目录(server.properties文件log.dirs配置,默认为“/tmp/kafka-logs”)全部topic的数据目录: 删除zookeeper上与kafka相关的znode节点: 重启kafka.如果删除topic还在则需要重启zookeeper: 这里以192.168.187.201 node1.192.168.187.202 node2.192.168.187.20

0x00 概述 本文主要讲Kafka自身操作日志的清理方法(非Topic数据),Topic数据自己有对应的删除策略,请看这里. Kafka长时间运行过程中,在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件,其中*代表日期和时间,比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03,这些文件对磁盘空间的消耗非常大,需要定期备份或者清理.目前没有发现kafka自身提供了这些操作

最近在做一个ERP系统需要导入数据,因此用到了sql的一些操作,在这里记录一下. 1.清除表数据: Delete from 表名称 where XXX 2.拷贝表结构,需求是新增一个和某个表数据格式一样的一个表时,无需建表只需要执行以下语句即可 select * into 新表 from   原表 where XXX 这样数据库里面就多了一张新表. 3.把结构相同的的一个表数据写入另外一个表 select * into test_BomDetail from t_BomDetail where

由于项目原因,最近经常碰到Kafka消息队列拥堵的情况.碰到这种情况为了不影响在线系统的正常使用,需要大家手动的清理Kafka Log.但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西需要手动同时去清理,否则可能会导致删除后客户端无法消费的情况. 在介绍手动删除操作之前,先简单的介绍一下Kafka消费Offset原理. 一.Kafka消费Offset 在通过Client端消费Kafka中的消息时,消费的消息会同时在Zookeeper和Kafka Log中保存,如

最近做软件的时候,遇到了缓存的问题,在网上看到了这个文章,感觉不错.分享给大家看看 文章出处:http://www.cnblogs.com/rayray/p/3413673.html /* * 文 件 名: DataCleanManager.java * 描 述: 主要功能有清除内/外缓存,清除数据库,清除sharedPreference,清除files和清除自定义目录 */ import java.io.File; import android.content.Context; import

/*  * 文 件 名:  DataCleanManager.java  * 描    述:  主要功能有清除内/外缓存,清除数据库,清除sharedPreference,清除files和清除自定义目录  */ package com.test.DataClean; import java.io.File; import android.content.Context; import android.os.Environment; /**  * 本应用数据清除管理器  */ public cla

前言: 在项目中,模块过多,dva使用namespace分离模块后,若没有在模块卸载后清除对应的数据,下次进入时,有可能会有上一次数据的残留. 比如详情页,从A商品的详情页离开后,返回选择B商品进入,此时在B商品信息加载之前可能存在A的残留信息. 诸如此类,若模块过多,需要在每个模块的WillUnmount中去clear又太麻烦. 方法: 在model层扩展.大概思路如下: 在model-extend.js中配置各种扩展model的[enhanceItems]对象,里面存储各种扩展model的f

前言 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partition迁移到新的服务器上面:所以需要将一些topic的分区迁移到新的broker上.另外一种情况就是集群减少broker节点,对原有的topic信息进行迁移,重新分配broker节点. 简单案例 本次案例将原本存在于两个borker节点(86,87)上的topic:test01(两副本),转移到87,88两个broker上(重新分配)

答案一: 你清除了浏览器数据,相当于把cookie也清了,那么你的sessionId也就没有了,所以你再次请求的时候服务器无法根据你携带的sessionid来获取对应的session,所以说需要重新登录. 答案二: session是通过每次请求的时候传递一个session_id的值来保存会话的,而传递的方式有两种,一种是通过每次请求时携带的cookies,还是有一种是通过url来传递,如果你php设置的是通过cookies,那么只要删除相应域名下的原来的cookies,服务器就会自动生成新的se

背景 由于项目需要,每个月的历史存量数据需要进行一个归档和备份操作,以及一些日志表需要进行一个明细字段清除,让mysql数据库磁盘节省空间.则需要一些定时任务来定时清理这些数据. 技术选型 Java 可以基于Quartz/Timer来使用定时任务机制来编写定时任务,需要依赖于Java程序 基于Linux下Crontab来基于cron表达式构建定时任务文档必定需要编写对应的脚本,但是在这个脚本中,由于需要操作数据库,必定会涉及到明文密码这样的一个数据,这样不是很安全. 由于使用到的是MYSQL数据

在开发过程中,很多时候需要快(简)速(单)清(粗)除(暴)Neo4j中存在的海量数据节点和关系数据.在这种情况下,delete和detach从性能上都已力不从心.Neo4j官方推荐清库方法,即删除graph.db数据库文件,暴力清空数据库.1. 关闭Neo4j服务器进程检查服务器进程是否启动,如启动,可通过kill -9或其它方式杀掉服务器进程.2. 删除graph.db数据库文件找到<NEO4J_HOME>/data/databases/路径,可以看到graph.db文件夹.删除此文件夹即可

版本 79.0.3945.88(正式版本) (64 位) 设置-高级-隐私设置和安全性-网站设置-Cookie和网站数据-退出Chrome时清除Cookie及网站数据.

重写LogouFilter类 import org.apache.shiro.web.filter.authc.LogoutFilter; public class ShiroLogoutFilter extends LogoutFilter { @Override protected boolean preHandle(ServletRequest request, ServletResponse response) throws Exception { //清除HTTPSession的用户信

今天中的一个story突然提到了系统设置中的清理数据,后来开始思考究竟系统的应用的这个清理功能,究竟会清理那些数据. 于是开始研究,以com.mx.browser为例,思路大概为首先为/data/data/com.mx.browser下的每一个文件夹下建立一个标志文件,这里为1.txt,然后执行清理数据操作,最后对比结果. 首先,进行清楚数据之前的的各个文件夹的情况. /data/data/com.mx.browser # ls lib files databases shared_prefs

背景:mysql数据库中有个日志表记录高达800多万,影响了mysql的正常业务访问,现需要清理三个月之前的所有数据,大概600多万(大概13G) 方法一:传统delete from xxx,传统,普通,效率底下,高数据清理容易搞垮数据库. 方法二:truncate,这个操作会把表中所有的数据给清除掉.(如果是要清空数据的话这个效率最高). 方法三:间接法.步骤如下: 1.创建t_req_log同结构的新表 t_req_log_new . create table  t_req_log_new