内存问题 本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory,主要内容包括基础应用.实用技巧.原理机制等方面,希望对大家有所帮助. bin目录下的kafka-run-class.sh中须要配置的参数 kafka是由scala和java编写的.因此须要调一些jvm的参数.java的内存分为堆内内存和堆外内存. JVM参数系列 -Xms2048m, -Xmx2048m,设置的是堆内内存. -Xms是初始可用的…

Kafka中存在大量的延迟操作,比如延迟生产.延迟拉取以及延迟删除等.Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能,而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer).JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n)),并不能满足Kafka的高性能要求,而基于时间轮可以将插入和删除操作的时间复杂度都降为O(1).时间轮的应用并非Kafka独有,其应用场景还有很多,在Netty.Akka.Qu…

[从源码学设计]蚂蚁金服SOFARegistry之时间轮的使用 目录 [从源码学设计]蚂蚁金服SOFARegistry之时间轮的使用 0x00 摘要 0x01 业务领域 1.1 应用场景 0x02 定时任务 2.1 什么是定时任务 2.2 Java定时任务框架 0x03 时间轮 3.1 缘由 3.2 定义 3.3 Netty时间轮HashedWheelTimer 3.3.1 实现 3.3.2 单线程与业务线程池 3.3.3 全局定时器 3.3.4 队列 3.4 Kafka和多层时间轮 3.4.1…

本篇文章主要基于Redisson中实现的分布式锁机制继续进行展开,分析Redisson中的时间轮机制. 在前面分析的Redisson的分布式锁实现中,有一个Watch Dog机制来对锁键进行续约,代码如下: private void renewExpiration() { ExpirationEntry ee = EXPIRATION_RENEWAL_MAP.get(getEntryName()); if (ee == null) { return; } //用到了时间轮机制 Timeout t…

一.什么是时间轮 时间轮这个技术其实出来很久了,在kafka.zookeeper等技术中都有时间轮使用的方式. 时间轮是一种高效利用线程资源进行批量化调度的一种调度模型.把大批量的调度任务全部绑定到同一个调度器上,使用这一个调度器来进行所有任务的管理.触发.以及运行.所以时间轮的模型能够高效管理各种延时任务.周期任务.通知任务. 以后大家在工作中遇到类似的功能,可以采用时间轮机制.如下图所示,时间轮,从图片上来看,就和手表的表圈是一样,所以称为时间轮,是因为它是以时间作为刻度组成的一个环形队列,…

一.生产者消息分区机制原理剖析 在使用Kafka 生产和消费消息的时候,肯定是希望能够将数据均匀地分配到所有服务器上.比如很多公司使用 Kafka 收集应用服务器的日志数据,这种数据都是很多的,特别是对于那种大批量机器组成的集群环境,每分钟产生的日志量都能以 GB 数,因此如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上,就成为一个非常重要的问题. 1.1.kafka为什么分区? kafka有主题(Topic)的概念,它是承载真实数据的逻辑容器,而在主题之下还分为若干个分区…

为了使本篇文章更容易让读者读懂,我特意写了上一篇<任何人都需要知道的「世界时间系统」构成原理,尤其开发人员>的科普文章.本文才是重点,绝对要读,走起! Java平台时间系统的设计方案 几乎任何事物都会有“起点”这样的概念,比如人生的起点就是我们出生的那一刻. Java平台时间系统的起点就是世界时间(UTC)1970年1月1日凌晨零点零分零秒.用专业的写法是“1970-01-01T00:00:00Z”,最后的大写字母“Z”指的是0时区的意思. 在Java平台时间系统里,这个起点用单词“epoch…

概述 早就想写关于kafka时间轮的随笔了,奈何时间不够,技术感觉理解不到位,现在把我之前学习到的进行整理一下,以便于以后并不会忘却.kafka时间轮是一个时间延时调度的工具,学习它可以掌握更加灵活先进的定时器技术,补益多多.本文由浅到深进行讲解,先讲解定时器基础以及常用定时器,接着就是主要的kafka时间轮实现.大部分都是原理.后期作者写第二部分的时候专门讲解时间轮的实践和使用. 定时器概念 使用场景,例如: 1,使用tcp连接的时候,客户端需要向服务端发送心跳请求. 2,财务系统每月生成的定…

时间轮的介绍 时间轮(TimeWheel)是一种实现延迟功能(定时器)的精妙的高级算法,其算法应用范围非常广泛,在Java开发过程中常用的Dubbo.Netty.Akka.Quartz.ZooKeeper .Kafka等各种框架中,各种操作系统的定时任务crontab调度都有用到,甚至Linux内核中都有用到,不夸张的是几乎所有和时间任务调度都采用了时间轮的思想. 时间轮的作用 高效处理批量任务 时间轮可以高效的利用线程资源来进行批量化调度,把大批量的调度任务全部都绑定时间轮上,通过时间轮进行所…

背景 Serverless 架构的出现让开发者不用过多地考虑传统的服务器采购.硬件运维.网络拓扑.资源扩容等问题,可以将更多的精力放在业务的拓展和创新上. 随着 serverless 概念的深入人心,各大云计算厂商纷纷推出了各自的 serverless 产品,其中比较有代表性的有 AWS lambda.Azure Function.Google Cloud Functions.阿里云函数计算等. 另外,CNCF 也于 2016 年创立了 Serverless Working Group,它致力于…