图解Disruptor框架(一):初识Ringbuffer 概述 1. 什么是Disruptor?为什么是Disruptor? Disruptor是一个性能十分强悍的无锁高并发框架.在JUC并发包中,号称是性能最好的ArrayBlockingQueue(简称:ABQ),在Disruptor的面前,也只能低下骄傲的头颅了.现在我们来看一下官方给出的测试数据. 吞吐量 上图是官方给出的在不同的模式下,使用ABQ以及Disruptor的吞吐量对比图.可见,在相同的模式之下,ABQ的性能跟Disrupt

这里的线程安全,是指一个读线程和一个写线程,读写两个线程是安全的,而不是说多个读线程和多个写线程是安全的.. 在程序设计中,我们有时会遇到这样的情况,一个线程将数据写到一个buffer中,另外一个线程从中读数据.所以这里就有多线程竞争的问题.通常的解决办法是对竞争资源加锁.但是,一般加锁的损耗较高.其实,对于这样的一个线程写,一个线程读的特殊情况,可以以一种简单的无锁RingBuffer来实现.这样代码的运行效率很高. 本文借鉴了Disruptor项目代码. 代码我在github上放了一份,需要

看到一篇写的非常详细的帖子,为防止楼主删帖后找不到,果断转载过来 RingBuffer源代码分析 出处:http://bbs.ickey.cn/community/forum.php?mod=viewthread&tid=43202(出处: ICKEY BBS) 大家都知道,环形缓冲区是比较常用的数据结构,正好机智云“微信宠物屋源代码v2.3”中也用到了. 下面给大家分析一下. 首先是数据结构: “RingBuffer.h” 注意是head指向了读区域,tail指向了写区域! 注意是head指向

http://blog.csdn.net/CSSEIKOCS/article/details/50790085 http://blog.csdn.net/xuanwolanxue/article/details/54577749http://blog.csdn.net/ghost1236/article/details/6256305http://blog.csdn.net/lin_strong/article/details/73604561http://blog.csdn.net/storm

一.Ringbuffer的概念 =>是一个环形数据队列的数据结构 =>嗯,正如名字所说的一样,它是一个环(首尾相接的环),你可以把它用做在不同上下文(线程)间传递数据的buffer. =>基本来说,ringbuffer拥有一个序号,这个序号指向数组中下一个可用的元素.(校对注:如下图右边的图片表示序号,这个序号指向数组的索引4的位置.) =>随着你不停地填充这个buffer(可能也会有相应的读取),这个序号会一直增长,直到绕过这个环. 要找到数组中当前序号指向的元素,可以通过mod

Disruptor术语 RingBuffer:被看作Disruptor最主要的组件,然而从2.0开始RingBuffer仅仅负责存储和更新在Disruptor中流通的数据.对一些特殊的使用场景能够被用户(使用其他数据结构)完全替代. Sequence:Disruptor使用Sequence来表示一个特殊组件处理的序号.和Disruptor一样,每个消费者(EventProcessor)都维持着一个Sequence.大部分的并发代码依赖这些Sequence值的运转,因此Sequence支持多种当前

目录 (一)起因 (二)混合自旋锁 (三)q3.h 与 RingBuffer (四)RingQueue(上) 自旋锁 (五)RingQueue(中) 休眠的艺术 (六)RingQueue(中) 休眠的艺术 [续] 无锁队列 第一篇文章末尾我们提到的<无锁队列的实现>(陈皓(hào)),该文末尾提到的“用数组实现无锁队列”,即用 RingBuffer 实现的无锁队列: RingBuffer 是一个很好的东西,用在无锁/有锁队列实在是太棒了,如该文提到的一样,RingBuffer由于使用的是序号(

1. ArrayBlockingQueue, LinkedBlockingQueue, ConcurrentLinkedQueue ArrayBlockingQueue, LinkedBlockingQueue 继承自 BlockingQueue, 他们的特点就是 Blocking, Blocking 特有的方法就是 take() 和 put(), 这两个方法是阻塞方法, 每当队列容量满的时候, put() 方法就会进入wait, 直到队列空出来, 而每当队列为空时, take() 就会进入等待

在程序设计中,我们有时会遇到这样的情况,一个线程将数据写到一个buffer中,另外一个线程从中读数据.所以这里就有多线程竞争的问题.通常的解决办法是对竞争资源加锁.但是,一般加锁的损耗较高.其实,对于这样的一个线程写,一个线程读的特殊情况,可以以一种简单的无锁RingBuffer来实现.这样代码的运行效率很高. 本文借鉴了Disruptor项目代码. 代码我在github上放了一份,需要的同学可以去下载(RingBuffer.java).本文最后也会附上一份. 代码的基本原理如下. 如图所示,假

原文地址:http://ifeve.com/ringbuffer/ 最近,我们开源了LMAX Disruptor,它是我们的交易系统吞吐量快(LMAX是一个新型的交易平台,号称能够单线程每秒处理数百万的订单)的关键原因.为什么我们要将其开源?我们意识到对高性能编程领域的一些传统观点,有点不对劲.我们找到了一种更好.更快地在线程间共享数据的方法,如果不公开于业界共享的话,那未免太自私了.同时开源也让我们觉得看起来更酷. 从这个站点,你可以下载到一篇解释什么是Disruptor及它为什么如此高性能的

背景 上篇实现了一个简单的队列,内部使用了 _count 计数,本文采用另外一种模式,不用 _count 计数. RingBuffer 不用 _count 计数的话,为了区分队列的满和空,需要在数组中预留一格,如下图就代表了一个满队列. ArrayQueue 代码 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; n

背景 如果基于数组实现队列,常见的选择是采用 RingBuffer,否则就需要移动数组元素. RingBuffer 很容易看出 RingBuffer 的思想,这里就不赘述了. 您可以思考一个问题:图中表示的场景是一个空队列?还是一个满队列?答案是:单单维护 _header 和 _tail 还不足以判断,必须维护一个 _count 计数. ArrayQueue 代码 using System; using System.Collections.Generic; using System.Linq;

背景 大多数企业开发人员都理解数据库乐观并发控制,不过很少有人听说过 CAS(我去年才听说这个概念),CAS 是多线程乐观并发控制策略的一种,一些无锁的支持并发的数据结构都会使用到 CAS,本文对比 CAS 和 数据库乐观并发控制,以此达到强化记忆的目的. CAS CAS = Compare And Swap 多线程环境下 this.i = this.i + 1 是没有办法保证线程安全的,因此就有了 CAS,CAS 可以保证上面代码的线程安全性,但是 CAS 并不会保证 Swap 的成功,只有

很多时候我们只需要消息中间件这样的功能,那么直需要RinBuffer就可以了. 入口: import java.util.concurrent.Callable; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.Future; import com.lmax.disruptor.BatchEventProcessor; i

系列译文: http://ifeve.com/disruptor/ 当有多个消费者时,(按Disruptor的设计)每个消费者各自控制自己的指针,依次读取每个Slot(也就是每个消费者都会读取到所有的产品),这时只需要保证生产者指针不会超过最慢的消费者(超过最后一个消费者“一圈”)即可,也不需要锁. 重复消费http://blog.csdn.net/zero__007/article/details/49684363 Disruptor多个消费者不重复处理生产者发送的消息的demo Disrup

物联网安全himqtt防火墙数据结构之ringbuffer环形缓冲区 随着5G的普及,物联网安全显得特别重要,himqtt是首款完整源码的高性能MQTT物联网防火墙 - MQTT Application FireWall,C语言编写,采用epoll模式支持IoT数十万的高并发连接,并且兼容ModSecurity部分规则. 代码非常优秀,非常值得收藏和学习,今天笔者就从结合himqtt的源码来进行ringbuffer数据结构分析,主要特点是速度快. 一. ringBuffer 介绍 ringBuf

纯CAS为啥比加锁要快? 同样是修改数据,一个采用加锁的方式保证原子性,一个采用CAS的方式保证原子性. 都是能够达到目的的,但是常用的锁(例如显式的Lock和隐式的synchonized),都会把获取不到锁的线程挂起,相对于CAS的不挂起,多了挂起和唤醒的开销. 尾指针是如何管理的,如何防止覆盖旧数据? 别的帖子都说RingBuffer中不维护尾指针,尾指针由消费者维护(所谓维护指针,就是修改.移动指针)其实这一句话有点误导性,如果RingBuffer不知道尾部在哪里,那它的数据存储肯定就会出

消费者如何读取数据? 前一篇是生产者的处理,这一篇讲消费者的处理 我们都知道,消费者无非就是不停地从队列中读取数据,处理数据.但是与BlockedQueue不同的是,RingBuffer的消费者不会对队列进行上锁,那它是怎样实现的呢? 概括地说,就是通过CAS原子性地得到一个可消费的序号,然后再根据序号取出数据进行处理. 在看代码之前,我们先把能想到的东西先罗列一下: 1.需要一个尾指针来追踪消费状态 2.如何防止一个数据被多个消费者重复消费? 3.消费速度不能超过生产者,如何限制? 4.当没有

1.lmax-Disruptor队列介绍 disruptor是英国著名的金融交易所lmax旗下技术团队开发的一款java实现的高性能内存队列框架 其发明disruptor的主要目的是为了改进传统的内存队列实现如jdk的ArrayBlockingQueue.LinkedBlockingQueue等在现代CPU硬件上的一些缺陷 1. 伪共享问题 现代的CPU都是多核的,每个核心都拥有独立的高速缓存.高速缓存由固定大小的缓存行组成(通常为32个字节或64个字节). CPU以缓存行作为最小单位读写,且一

背景 前两篇文章介绍了 Queue 的实现,很多类库都引入了 Deque,Deque 可以两头添加和删除,然后在 Deque 之上构建 Queue 和 Stack. Deque 代码 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace DataStuctureStudy.Deques { publi