ListenableFuture顾名思义就是可以监听的Future,它是对java原生Future的扩展增强 RateLimiter类似于JDK的信号量Semphore,他用来限制对资源并发访问的线程数,本文介绍RateLimiter使用 Guava并发 ListenableFuture RateLimiter 目录[-] 概念 代码示例 Guava版本 源码:http://www.jinhusns.com/Products/Download/?type=xcj 概念 ListenableFut…

并发是一个难题,但是可以通过使用强力简单的抽象来显著的简化,为了简化问题,guava扩展了Future接口,即 ListenableFuture (可以监听的Future).我强烈建议你在你的所有代码里使用ListenableFuture去替代Future,原因如下: 很多的Futures 类的方法需要它.(Futures工具类使用) 它比后来改造为ListenableFutrue更简单.(早点使用比重构更简单) 工具方法的提供者不需要提供Future和ListenableFuture方法的变体…

转载自并发编程网 – ifeve.com RateLimiter 从概念上来讲,速率限制器会在可配置的速率下分配许可证.如果必要的话,每个acquire() 会阻塞当前线程直到许可证可用后获取该许可证.一旦获取到许可证,不需要再释放许可证. 校对注:RateLimiter使用的是一种叫令牌桶的流控算法,RateLimiter会按照一定的频率往桶里扔令牌,线程拿到令牌才能执行,比如你希望自己的应用程序QPS不要超过1000,那么RateLimiter设置1000的速率后,就会每秒往桶里扔1000个…

公司最近在推一个限流工具接入,提供的功能有单机限流.集群限流等.想了解一下限流的原理和设计,看了一下wiki里面有提到用了guava的ratelimiter工具,查了一些资料了解了一下 主要的限流算法有: 漏斗算法和令牌桶算法 漏斗算法: 往漏斗里面放请求,我的理解漏斗就是一个变量或者集合.在以固定的速率去消费这些请求,如果请求超过了漏斗的容量,就溢出,即被限流 令牌桶算法: 以一定的速度向一个桶(一个变量或者其他设计)放令牌(变量加1).请求来了,去桶里获取令牌,如果获取到,就执行.没有获取到…

需求:接口每秒最多只能相应1个请求 1.创建 全局类对象 import com.google.common.util.concurrent.RateLimiter; import org.springframework.stereotype.Service; /** * @Auther: 011336 * @Date: 2019/4/29 17:31 */ @Service public class AccessLimitService { /** * 每秒只发出1个令牌 */ RateLimi…

示例一: 利用通道pop会自动挂起当前协程,等待生产者推送数据的特性,实现并发调用,并在协程完成后组合结果集. $serv = new Swoole\Http\Server("127.0.0.1", 9503, SWOOLE_BASE); $serv->on('request', function ($req, $resp) { $chan = new Swoole\Coroutine\Channel(2); go(function () use ($chan) { $cli =…

第一章:简介 程序清单1-1非线程安全的数值序列生成器 import net.jcip.annotations.NotThreadSafe; @NotThreadSafe public class UnsafeSequence { private int value; /*返回一个唯一的数值*/ public int getValue() { return value++; //三个操作:读取,加一,赋值. 多线程并发操作value可能导致步骤被打乱 } } 程序清单1-2 线程安全的数值序列生…

3.1 可见性 程序清单3-1 在没有同步的情况下共享变量(不要这么做) /** * 主线程和读线程都将访问共享变量:ready 和 number * 结果可能 * 1. 主线程先运行完,读线程后运行:读线程在控制台打印输出42, * 2. 读线程先执行完,主线程后执行:读线程在控制台打印输出0 * 3. NoVisibility根本无法终止,读线程可能永远都看不到ready的值 * 4. 重排序(Reordering):读线程看到了主线程中顺序靠后写入的ready的值,但没看到主线程先写入的n…

package com.chinamobile.epic.tako.common.graphite.query.sync.impl; import com.google.common.collect.Lists; import java.util.Arrays; import java.util.Collection; import java.util.List; import java.util.concurrent.ForkJoinPool; import java.util.concurr…

转:https://blog.csdn.net/jiesa/article/details/50412027 一.问题描述   某天A君突然发现自己的接口请求量突然涨到之前的10倍,没多久该接口几乎不可使用,并引发连锁反应导致整个系统崩溃.如何应对这种情况呢?生活给了我们答案:比如老式电闸都安装了保险丝,一旦有人使用超大功率的设备,保险丝就会烧断以保护各个电器不被强电流给烧坏.同理我们的接口也需要安装上“保险丝”,以防止非预期的请求对系统压力过大而引起的系统瘫痪,当流量过大时,可以采取拒绝或者引…

Guava中的RateLimiter可以限制单进程中某个方法的速率,本文主要介绍如何使用,实现原理请参考文档:推荐:超详细的Guava RateLimiter限流原理解析和推荐:RateLimiter 源码分析(Guava 和 Sentinel 实现). 1 基于spring-mvc的controller测试限流 完整代码可参考:https://github.com/sxpujs/spring-cloud-examples/tree/master/rest-service 1.1 增加Maven…

ListenableFutureExplained 并发是一个困难的问题,但是使用强大而简单的抽象可以极大地简化并发问题.为了简化事情,Guava使用ListenableFuture继承了JDK的Future接口. 我们强烈建议你在所在代码里总是使用ListenableFuture,而不是Future,因为: 大多数Future相关的接口需要它 这比以后换成ListenableFuture更容易 工具的提供者不需要为它们的方法分别提供Future和ListenableFuture的变体 接口 I…

原文地址: http://blog.csdn.net/pistolove/article/details/51232004 Java Future     通过Executors可以创建不同类似的线程池,常见的大概有下表几种类型,还有些可能为被列出.在实际应用中,个人感觉主要使用newCachedThreadPook和newFixedThreadPool来创建线程池. Executors创建线程池源码 //调用newCachedThreadPool方法,可以创建一个缓冲型线程池,而在改方法中通过…

Guava官方文档-RateLimiter类 原文链接 作者:Dimitris Andreou  译者:魏嘉鹏 校对:方腾飞 RateLimiter 从概念上来讲,速率限制器会在可配置的速率下分配许可证.如果必要的话,每个acquire() 会阻塞当前线程直到许可证可用后获取该许可证.一旦获取到许可证,不需要再释放许可证. 校对注:RateLimiter使用的是一种叫令牌桶的流控算法,RateLimiter会按照一定的频率往桶里扔令牌,线程拿到令牌才能执行,比如你希望自己的应用程序QPS不要超过…

一.ListenableFuture工具使用 guava 并发工具:ListenableFuture jdk8 提供了:CompletableFuture 实现,推荐使用 jdk 8 CompletableFuture:005-多线程-JUC线程池-Future.FutureTask.CompletionService .CompletableFuture 006-优化web请求二-应用缓存.异步调用[Future.ListenableFuture.CompletableFuture].ETag…

目录 写在前面 1. Future模式异步回调大起底 1.1. 从泡茶的案例说起 1.2. 何为异步回调 1.2.1. 同步.异步.阻塞.非阻塞 1.2.2. 阻塞模式的泡茶案例图解 1.2.3. 回调模式的泡茶方法 1.3. 异步阻塞闷葫芦--join 1.3.1. 线程的join 合并 1.3.2. join 异步阻塞实例代码 1.3.3. join方法的详细介绍 1.4. 异步阻塞重武器--FutureTask系列类 1.4.1. Callable接口 1.4.2. FutureTask类…

Guava工程包含了若干被Google的 Java项目广泛依赖 的核心库,例如:集合 [collections] .缓存 [caching] .原生类型支持 [primitives support] .并发库 [concurrency libraries] .通用注解 [common annotations] .字符串处理 [string processing] .I/O 等等. guava类似Apache Commons工具集 Cache 缓存在很多场景下都是相当有用的.例如,计算或检索一个值…

本文导读: 1 Worker.Executor.task详解 2 配置拓扑的并发度 3 拓扑示例 4 动态配置拓扑并发度 Worker.Executor.Task详解: Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作:1. Worker Process(工作进程)——Spout/Bolt中运行具体处理逻辑的进程2. Executor(线程.执行器)——物理线程3. Task(任务)——具体的处理逻辑对象 下图简要描述了这3者之间的关系: sto…

MySQL有三种锁的级别:页级.表级.行级. MyISAM和MEMORY存储引擎采用的是表级锁(table-level locking):BDB存储引擎采用的是页面锁(page-level locking),但也支持表级锁:InnoDB存储引擎既支持行级锁(row-level locking),也支持表级锁,但默认情况下是采用行级锁. MySQL这3种锁的特性可大致归纳如下: 表级锁:开销小,加锁快:不会出现死锁:锁定粒度大,发生锁冲突的概率最高,并发度最低. 行级锁:开销大,加锁慢:会出现死锁…

许多开发者在创建和维护多线程应用程序时经历过各种各样的问题,他们希望能在一个更高层次的抽象上进行工作,以避免直接和线程与锁打交道.为了帮助这些开发者,Arun Manivannan编写了一系列的博客帖子,在目前总共六篇帖子中,他通过大量的图片及一些简单的Akka示例,解释了Actor模型的原理,并进一步探索了Akka工具所提供的各种特性. Arun首先从整体上对Actor进行了介绍,他在示例中将Actor比作了一群人: 你可以将Actor当作是一群人,他们互相之间不会面对面地交流,而只是通过邮件…

WCF服务实例的并发模式是在服务实现类上,使用 ServiceBehaviorAttribute 的 ConcurrencyMode 属性来指定.其值由 ConcurrencyMode 枚举来界定,这个枚举只有三个值: Single——服务实例只在单个线程上运行,如果服务是单个实例,那么同一时间只有一个传入的调用被接收,其他调用请拿票排队. Multiple——这个好理解,服务实例支持多个线程同时调用,所以状态数据可能会不同步(单个服务实例),如果某些变量担心被其他线程意外修改,可以适合地 lo…

前言 最近在做项目里的自动化测试工作,使用的是TestNG测试框架,主要涉及的测试类型有接口测试以及基于业务实际场景的场景化测试.由于涉及的场景大多都是大数据的作业开发及执行(如MapReduce.Spark.Hql等任务的执行),而这些任务的执行都需要耗费较多的时间.举一个普遍的例子,其中一条场景测试用例是: 执行一个MapReduce作业,校验作业的执行结果和执行日志. 对于一个最简单的MR任务,如果YARN集群资源充足,它的执行时间也要花上将近一分钟的时间.更不用说当YARN集群计算资源饱…

载请注明出处:http://blog.csdn.net/ns_code/article/details/17524153 在操作系统中,信号量是个很重要的概念,它在控制进程间的协作方面有着非常重要的作用,通过对信号量的不同操作,可以分别实现进程间的互斥与同步.当然它也可以用于多线程的控制,我们完全可以通过使用信号量来自定义实现类似Java中的synchronized.wait.notify机制. Java并发包中的信号量Semaphore实际上是一个功能完毕的计数信号量,从概念上讲,它维护了一个…

在项目开发中,我们有时需要对数据并发请求进行处理.举个简单的例子,比如接单系统中,AB两个客服同时请求处理同一单时,应该只有一单请求是处理成功的,另外一单应当提示客服,此单已经被处理了,不需要再处理.如果我们不对上述并发冲突进行检测处理,两个请求都会成功,数据库接收到的后面的请求将覆盖前面的请求.在大部分应用程序中,这种方式是可以接受的,但是举例的接单系统中这种处理方式显然不符合业务要求. 一.认识并发 数据库操作有ACID属性(原子性,一致性,隔离性和永久性),并发问题即在相同的数据上同时执行…

0. 并发冲突的示例 单用户的系统现在应该比较罕见了,一般系统都会有很多用户在同时进行操作:在多用户系统中,涉及到的一个普遍问题:当多个用户“同时”更新(修改或者删除)同一条记录时,该如何更新呢?    下图展示了开放式并发冲突的一个示例: 假设数据库中有一条记录Record{Field1=5, Field2=6, Field3=7}(以下简写为{5, 6, 7}),A.B两个用户按照如下顺序操作这一条记录:(1). A读取该记录,取得的值为{5, 6, 7},读取完毕后,不对该记录加排他锁:(…

在操作系统中,信号量是个很重要的概念,它在控制进程间的协作方面有着非常重要的作用,通过对信号量的不同操作,可以分别实现进程间的互斥与同步.当然它也可以用于多线程的控制,我们完全可以通过使用信号量来自定义实现类似Java中的synchronized.wait.notify机制. Java并发包中的信号量Semaphore实际上是一个功能完毕的计数信号量,从概念上讲,它维护了一个许可集合,对控制一定资源的消费与回收有着很重要的意义.Semaphore可以控制某个资源被同时访问的任务数,它通过acqu…

优势 并行(多线程)技术在软件术语里被定义为软件.操作系统或者程序可以并行地执行另外一段程序中多个部分或者子组件的能力 多线程方式拥有很大的优势: 1). 减少测试运行时间 如果测试集里包含了大量的用例时,多线程方式提高执行速度 2). 验证某段代码在多线程环境中运行的正确性. 基于上述场景,我们可以考虑将自动化用例中相互之间没有耦合关系,相对独立的用例进行并行执行. 必须要指出的是,我们在设计用例时就要考虑到用例是否适合并发执行,要注意多线程方式的通病:线程安全与共享变量的问题.建议是在测试代…

### java future Runnable的任务是没有返回值,也不能抛出异常的java.util.concurrent.Callable接口,可以返回一个对象或者抛出异常 使用jdk的这种方式提交Callble任务,如果使用Future等待返回结果,这里就是阻塞的.所以,可能某一个任务时间很长会拖累整个主任务的执行. public class TestFuture { final static ExecutorService executorService = Executors.newC…

CUDA 7流简化并发 异构计算是指有效使用系统中的所有处理器,包括CPU和GPU.为此,应用程序必须在多个处理器上同时执行功能.CUDA应用程序通过在流(按顺序执行的命令序列)中,执行异步命令来管理并发性.不同的流可能同时执行,或彼此相对执行命令. 在不指定流的情况下执行异步CUDA命令时,运行时runtime将使用默认流.在CUDA 7之前,默认流是特殊流,它与设备上的所有其他流隐式同步. CUDA 7引入了大量强大的新功能,其中包括为每个主机线程使用独立默认流的新选项,从而避免了对传统默认…

异构计算是指高效地使用系统中的所有处理器,包括 CPU 和 GPU .为此,应用程序必须在多个处理器上并发执行函数. CUDA 应用程序通过在 streams 中执行异步命令来管理并发性,这些命令是按顺序执行的.不同的流可以并发地执行它们的命令,也可以彼此无序地执行它们的命令. 在不指定流的情况下执行异步 CUDA 命令时,runtime使用默认流.在 CUDA 7 之前,默认流是一个特殊流,它隐式地与设备上的所有其它流同步. CUDA 7 引入了大量强大的新功能 ,包括一个新的选项,可以为每个…