问题: 注意到自己负责kafka的某个topic最小的偏移量为0,而最大的偏移量都7亿多了,说明存储在kafka里面的数据没有定时删除,通过登陆到kafka服务器,查看配置文件services.properties,发现log.retention.hours=876000(100年),我猜想配置kafka的人是怕数据丢失,直接保存了所有的数据. 方法: 我这边修改为log.retention.hours=4320(半年,根据实际情况设置),然后重启kafka,就生效了. (其中,当该配置生效之后

Apache kafka编译 前言 github网站kafka项目的README.md有关于kafka源码编译的说明 github地址:https://github.com/apache/kafka 编译环境准备 java maven gradle 编译 失败原因:gradle版本太高,降低到4.8就ok了  编译(执行如下命令) 会在kafka/core/build/distributions目录下生成需要的tar包 CDH kafka编译 源码还是从github获取 git clone ht

场景回顾: 测试集群节点分配:35,36是namenode且开启HA,37,38,39即作为datanode,又作为journalnode. 某时间 38节点磁盘爆满,集群中hdfs及依赖的服务全部宕掉. 之后虽然将38节点清除一部分多余数据,但集群服务仍然不正常:namenode启动的时候两个都是standby,几分钟后自动关闭:datanode正常:journal正常:zkfc正常 调查过程: 查看namenode日志,显示一直在尝试连接journal,并显示 2017-08-14 17:0

服务器异常 又是开开心心打开我心爱的服务器一天: 吔!这是嘛啊?我的服务器域名访问不了了,一直转圈圈超时了,好,打开ssh远程看看,吔!!!还是访问不了,宕机了?怀着一颗憋大便的心情打开了阿里云控制面板. 检查服务器 打开阿里云控制面板的监控,发现不同寻常的两个数据 我就挂两个网站,一个青龙面板,不应该这么占资源啊?想起来前两天打开青龙面板的时候有点卡,留了个心眼,等等,,,cpu运算高没事,磁盘...(第一张图片,下面深蓝色的是读取,最上面曲线是写..)磁盘一直写这么久,它该累了吧?我一共就6

tailf kafka/log/server.log [2019-12-19 17:19:05,121] FATAL (main kafka.server.KafkaServerStartable 116) Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.InternalError: a fault occurred in a recent unsafe memory access op

1.问题现象 使用df -h命令,磁盘占用直接99%,明明啥也没干...  2.解决方案 找到C:\Users\你的用户名\.vagrant.d\boxes\centos7\0\virtualbox目录下有个Vagrantfile(这个文件是你初始化centos时候产生的:vagrant init 盒子名),打开后 修改为 这里的backup目录是自己新建的空目录,跟.vagrant同级目录,不然会报错,说找不到共享文件夹./backup,就像下面这样  3.重启 执行vagrant reloa

理解Linux的软硬链接 创建硬链接的命令 [root@centos6 data]#ln /data/f1 /data/f2 [root@centos6 data]#ll -itotal 1613 -rw-r--r--  2 root root     0 May 12 09:19 f113 -rw-r--r--  2 root root     0 May 12 09:19 f2 上图我们可以看出硬链接有着相同的inode号,只是文件的名字不一样,因此硬链接有着以下几点特性: 1 文件的ino

今天发现vps敲入crontab -e 居然提示 “Disk quota exceeded” 无法编辑.于是"df -h"查了查发现系统磁盘空间使用100%了.最后定位到是/var/spool/mail/root 这个文件有几个G.于是清理掉,问题解决.如果不知道是哪些文件占了磁盘空间,可以看下面查找大文件方法. 以下内容转自 http://hi.baidu.com/11haiou/item/f3a4878b601e084e840fab17 linux操作系统中,经常会遇到磁盘空间满的

本文主要是通过在网上找到的例子进行演示: 一.说明      开发环境如下:      idea + jdk 1.8 + maven      maven 中引用的架包如下: 二. 生产者 import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; /** * Created

事件: 由于前一天的晚上加班了.第二天又接着上班.所以精神上有点不在状态:收到客户的反馈说在slave上找不到master刚刚插入的数据: 阶段1: 遇到这事的第一感觉就是这可能是主从延时.或是slave的复制出错了使得数据没有同步.于是执行show slave status 查看信息 show slave status ; 发现这东西被卡住了.一直没有返回 阶段2: 发现上面的show slave status没有返回.第一个想法就是“难道cpu这么忙?一个show 都执行不了?” top 看

今天收到监控邮件说博客访问失败.打开页面一看,硕大的502 Bad Gateway,ping了一下VPS发现是通的,SSH连接上去看了下Nginx日志发现没问题,重启lnmp的时候发现Mysql起不来,问题源头基本找到. tail /usr/local/mysql/var/slyar.err 看了一下Mysql的错误日志,意外状况出现…… Disk is full writing './mysql-bin.~rec~' (Errcode: 28). Waiting for someone to

直接上图 1 清理网站日志/php站点session/系统邮件/临时文件 cd /www/server/panel && python tools.pyc clear 2 清空面板回收站 rm -rf /www/Recycle_bin/* 3 清除mysql二进制日志(操作过程中会停止重启数据库) /etc/init.d/mysqld stop rm -f /www/server/data/ib_logfile* rm -f /www/server/data/mysql-bin.* /et

问题原因&通用解决步骤 频繁收到es数据节点磁盘使用监控告警,到es上查看,磁盘使用率40%,因此登录该告警服务器,df -h 查看,如图 发下根目录使用超过了80%,因此持续告警,按照以往办法,直接du查看根目录哪个目录占用最大,清理即可 根目录超过了80%告警,其中data是数据盘,挂载在另外的文件系统上,不属于根目录所在文件系统.那么直接使用du命令 du -h --max-depth=1 查看根目录哪个目录占用磁盘空间最大就行了 发下除了/data目录,其它目录属于根目录,加起来不过7G

打开应用和功能,搜KB4023057,然后卸载. 快捷键WIN+R打开运行,输入services.msc回车打开系统服务,找到Windows Remediation Service (sedsvc)和Windows Update Medic Service (WaaSMedicSvc)并停止这些服务. 快捷键WIN+R打开运行,输入taskschd.msc回车打开任务计划程序,然后Microsoft -> Windows -> rempl找到右边面板的shell,再点击右边面板有个所选项有个删

一.消息引擎系统 这类系统引以为豪的消息传递属性,像引擎一样,具备某种能量转换传输的能力 消息引擎系统是一组规范,企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递.通俗地讲就是系统A发送消息给消息引擎系统,系统B从消息引擎系统读取系统A的消息 既然消息引擎系统是用于不同系统之间传输消息的,如何设计待传输消息的格式,提供可重用性及通用性.kafka使用的是二进制的字节序列,当然消息还是结构化的,只是在使用之前都要将其转换成二进制的字节序列. 消息引擎系统还要设定具体的传

介绍 一种高吞吐量的分布式发布订阅消息系统 消息类型:主体Topic(广播).队列Queue(一对一) 消息系统类型:同步消息系统.异步消息系统 常见消息产品:Redis.Kafka.JMS 术语 Producer:生产者,向 Kafka Broker 上的 Topic 发布消息的应用程序 Broker:缓存代理服务进程,一个Kafka 集群由多个 Broker 组成,Broker 负责接收和处理客户端发送过来的请求,以及对消息进行持久化 Message:消息,通信的基本单位,每个 Produc

CDH 数据库 磁盘坏了  所有集群配置 都没了    而且 还没备份  ....    元数据 还在  cdh  软件配置 和  安装软件 不能用了 下载 apache hadoop   重新配置  namenode datenode   journode  加载以前的数据  读出来了  .. 强制了  namenode 主   把数据迁移到 其他节点   因为 重新 安装数据可  CDH 自动把之前的目录  配置文件 和 软件 全部清空了 还是手动安装靠谱

from:云栖社区 玛德,今天又被人打脸了,小看人,艹,确实,相对比起来,在某些方面差一点,,,,该好好捋捋了,强化下短板,规划下日程,,,引以为耻,铭记于心. 跟我学Kafka之NIO通信机制   main 2016-03-31 16:54:06 浏览166 评论0 摘要: 很久没有做技术方面的分享了,今天闲来有空写一篇关于Kafka通信方面的文章与大家共同学习. 一.Kafka通信机制的整体结构 这个图采用的就是我们之前提到的SEDA多线程模型,链接如下:http://www.jianshu

背景 : 用mac电脑的人,估计都不习惯去关机吧.mac虽然可以不需要关闭电脑,但是久而久之由于应用软件占用产生缓存文件 or 产生虚拟内容交换文件 or 睡眠镜像文件 and so on. 会占用大量空间.小编今晚很不幸,mac磁盘爆满.于是,想到了删除无用文件,删除下载的文件,卸载不常用软件.折腾了大半天,腾出了7G空间.高兴之余,观看了羽毛球男双比赛. 电脑时不时发出呻吟,后来渐渐发骚了,不小心会被烫伤~~看完比赛,发现麻蛋,磁盘只剩下1G可用了.马上关机,重启后,大吃一惊,发现默秒其妙多

很早之前就想动笔就这个kafka bug总结一番了,只是这个问题既不是本人发现,也不是自己动手修复,终归是底气不足,故而一直耽搁下来.怎奈此问题实在是含金量十足,又恰逢最近有人询问Kafka 0.10.2都有哪些提升,我终究还是决定给这个bug写点东西了.   事先声明:这是一个日本人(下称Yuto)开的bug,其对问题的描述.定位.探查.分析.验证以及结论都堪称完美,令人印象深刻.自该issue报出的第一天起我便全程追踪其进度,整个过程甚觉受益良多,今总结出来希望对自己及各位读者都有所帮助.值