CompletionService 与 ExecutorService 获取任务执行结果时的区别
CompletionService 与 ExecutorService 之间的区别
在讨论二者之间的区别之前,先交待一下背景。
看了ElasticSearch Transport模块的源码,里面充满了各种异步回调获取结果,于是就想:为什么不用Callable接口,然后再基于java.util.concurrent.Future#get()获取任务的执行结果呢?
又因为ES的Transport模块底层是基于Netty实现的,研究了下Netty的获取线程执行结果的方式,,虽然Callable、FutureTask 将提交任务执行"异步化"了,但是在获取任务执行结果的这一步,JDK Future#get() 是阻塞的(超时阻塞),那么,能不能在获取结果的时候也不阻塞呢?有二种渠道实现:
回调机制
ElasticSearch里面就是大量用到回调机制。由于JDK Future的缺陷,Netty的 ChannelFuture扩展了JDK 的Future接口,并提供了回调机制支持异步获取任务的执行结果。它的源码:io.netty.channel.ChannelFuture的注释非常值得一读。
JDK8 里面提供的java.util.concurrent.CompletableFuture
CompletableFuture 可参考《JAVA8实战》中了解一下
当然,本文不打算讨论,获取任务执行结果也不阻塞的具体实现方法,而是"先退一步",来分析下:
- 使用 CompletionService 的 submit 方法 java.util.concurrent.CompletionService#submit(java.util.concurrent.Callable)提交多个任务,如何获取任务的执行结果?
- 使用 ExecutorService 的submit 方法 java.util.concurrent.ExecutorService#submit(java.util.concurrent.Callable)提交多个任务,如何获取任务的执行结果?
为什么强调多个任务,因为这里讨论的是多个任务的并发执行。并不是第一个任务执行完成后,才能执行第二个任务。那CompletionService 与 ExecutorService 在获取任务结果的时候的区别是什么?
先说下结论,如果我们的目标是尽快处理任务的执行结果,而不是必须等到所有的任务都执行完成后,拿到所有的执行结果,才能进行下一步处理,那么使用 CompletionService 是非常有好处的。
举个例子:一个网站要显示10幅图像,下载完一幅就显示一幅,而不需要将这10幅都下载下来,再统一显示,那就很适合用CompletionService。下载 就是线程要执行的任务,图像 就是任务的执行结果。
使用ExecutorService时,代码是这样的:
//保存 Future<Image>,后面遍历 List 获取 Future 结果
List<Future<Image>> futureList = new ArrayList();
for(int i = 0; i < 10; i++)
{
Future<Image> imageFuture = executorService.submit(downloadTask);//10个下载任务同时并发
futureList.add(imageFuture);
}
//获取10个任务的执行结果
for(int i = 0; i < 10; i++)
{
Future<Imapge> future = futureList.get(i);
Imapge image = future.get();//如果图像尚未下载完成,这里会阻塞
render(image);//将已经下载好的图像渲染到界面
}
我们是用List<Future<Image>>
保存所有的任务Future,然后在for循环里面遍历List获取结果,假设第一个任务下载第一幅图像,第二个任务下载第2幅图像,以此类推....
这里的问题是:若第一幅图像未下载完成,但是第2幅、第3幅图像已经下载完了,我们也无法优先获取第2幅、第3幅图像。也就无法将已经先下载下来的图像渲染到界面。
总结起来讲就是:提交任务,将任务添加到List里面的顺序,与任务实际完成顺序是不相关的。
而使用 CompletionService,就能解决这个缺陷。它使得我们能够获得那些最先下载好的图像。
使用 CompletionService时,代码是这样的:
for(int i = 0; i < 10; i++)
{
completionService.submit(downloadTask);//10个下载任务同时并发
}
for(int i = 0; i<10;i++ )
{
//只要任一幅图像下载下来了,completionService.take()就会返回,从而 get() 到这幅图像
render(completionService.take().get());
}
completionService.take()
是个阻塞方法,如果10幅图像中都没下载下来,那就阻塞了。但只要有一幅下载下来了,就立即能获得到这幅图像。显然,这里:获取任务的执行结果的顺序与提交任务的顺序无关了。
这里的实现思路也可参考《Java并发编程实战》中第6章。
参考:
- https://github.com/google/guava/wiki/ListenableFutureExplained
- https://blog.csdn.net/pistolove/article/details/51232004
原文:https://www.cnblogs.com/hapjin/p/10898451.html
CompletionService 与 ExecutorService 获取任务执行结果时的区别的更多相关文章
- Java获取多线程执行结果方式的归纳与总结
在日常的项目开发中,我们会经常遇到通过多线程执行程序并需要返回执行结果的场景,下面我们就对获取多线程返回结果的几种方式进行一下归纳,并进行简要的分析与总结. 一.Thread.join 在一些简单的应 ...
- CompletionService 和ExecutorService的区别和用法
JavaSE5的Java.util.concurrent包中的执行器(Executor)将为你管理Thread对象,从而简化了并发编程.Executor在客户端和执行任务之间提供了一个间接层,Exec ...
- TaskTracker获取并执行map或reduce任务的过程1
TaskTracker获取并执行map或reduce任务的过程(一) 我们知道TaskTracker在默认情况下,每个3秒就行JobTracker发送一个心跳包,也就是在这个心跳包中包含对任务的请求. ...
- 使用dynamic引发的异常:无法对 null 引用执行运行时绑定
今天上午运营反映有商户的账单没有生成. 查看日志,在批量生成账单服务执行过程中,因为如下异常而中断了: 跑批异常 Microsoft.CSharp.RuntimeBinder.RuntimeBinde ...
- java 中多线程和锁的使用以及获取多线程执行结果
多线程一:原生的写法 关键词 implements 实现 Runnable 类 run() 方法 注意点 : 创建类的实例 InterfaceController inter=new Int ...
- 获取 SharpSvn 执行 svn 操作的实时日志
1 获取 SharpSvn 操作日志的方式 之前一篇随笔(使用 SharpSvn 执行 svn 操作)讲到可以通过声称一个绑定到一个 SvnClient 对象的 SvnClientReport 对象. ...
- Java: 获取当前执行位置的文件名/类名/方法名/行号
在 JAVA 程序有时需要获取当前代码位置, 于是就利用 Thread.currentThread().getStackTrace() 写了下面这个工具类, 用来获取当前执行位置处代码的文件名/类名/ ...
- centos7.x 将普通用户加入sudoers中,获取sudo执行权限
centos7.x 将普通用户加入sudoers中,获取sudo执行权限 0 问题由来 你在提起兴致学习的时候,兴冲冲地往黑洞洞的文本窗口输入下一行: [pan@localhost ~]$ sud ...
- java获取音频文件播放时长
方法一: 在项目开发过程中,需要获取音视频文件时长.查询资料后发现 JAVE能够完美得到想要的结果,JAVE项目简介如下: The JAVE (Java Audio Video Encoder) li ...
随机推荐
- Mysql数据库查询语法详解
数据库的完整查询语法 在平常的工作中经常需要与数据库打交道 , 虽然大多时间都是简单的查询抑或使用框架封装好的ORM的查询方法 , 但是还是要对数据库的完整查询语法做一个加深理解 数据库完整查询语法框 ...
- leetcode-13-basic-binaryTree
101. Symmetric Tree 解题思路: 递归的方法如下.分几种情况考虑,如果左子树和右子树都是空,那么返回true:如果不同时为空,返回false:如果都不为空,则 判断其值是否相等,不相 ...
- Fiddler证书安装不成功
Fiddler 抓包https配置 提示creation of the root certificate was not successful 证书安装不成功 原文链接 在使用Fiddler抓包时,我 ...
- Flask-用户角色及权限
app/models.py class Role(db.Model): __tablename__ = 'roles' id = db.Column(db.Integer, primary_key=T ...
- ogre3d环境配置与简单程序示例
SDK安装以及编译 1.下载SDK,地址如下 http://www.ogre3d.org/download/sdk 2.安装SDK,直接解压到相应目录,如D:/ogreSDK 3.我用的是1.8版本, ...
- 小甲鱼零基础入门PYTHON
000.愉快的开始 00:17:37 ☆ 001.我和Python的第一次亲密接触 00:13:26 ★ 002.用Python设计第一个游戏 00:24:00 ★ 003.小插曲之变量和字符 ...
- HTTP的一些概念
1. 什么是回调? 回调是异步编程时的基础,将后续逻辑封装成起始函数的参数,逐层嵌套 2. 什么是同步/异步? 同步是指:发送方发出数据后,等接收方发回响应以后才发下一个数据包的通讯方式. 异步是指: ...
- 利用bochs调试Linux 0.11内核
引导程序调试软件bochs,跟配套的linux0.11内核img下载地址分别是: http://sourceforge.net/projects/bochs/http://www.oldlinux.o ...
- 学习C++的第四天
1.头文件中的 #ifndef/#define/#endif 防止该头文件被重复引用” //文件路径名:el_1\hello.h #ifndef _HELLO /////如果没有定义 _HELLO文件 ...
- STL之set容器的总结
最近做了很多题型,都是用简单的STL就解决了,深刻的感觉到STL的伟大力量,但是本人在遇到问题的时候还是喜欢用常规的算法去解决问题,脑袋笨没办法,有时候根本想不到用STL去解决一些问题 往往都是砍了网 ...