本系列文章经补充和完善,已修订整理成书《Java编程的逻辑》,由机械工业出版社华章分社出版,于2018年1月上市热销,读者好评如潮!各大网店和书店有售,欢迎购买,京东自营链接http://item.jd.com/12299018.html


上节,我们提到,在异步任务程序中,一种常见的场景是,主线程提交多个异步任务,然后希望有任务完成就处理结果,并且按任务完成顺序逐个处理,对于这种场景,Java并发包提供了一个方便的方法,使用CompletionService,这是一个接口,它的实现类是ExecutorCompletionService,本节我们就来探讨它们。

基本用法

接口和类定义

77节介绍的ExecutorService一样,CompletionService也可以提交异步任务,它的不同是,它可以按任务完成顺序获取结果,其具体定义为:

public interface CompletionService<V> {
Future<V> submit(Callable<V> task);
Future<V> submit(Runnable task, V result);
Future<V> take() throws InterruptedException;
Future<V> poll();
Future<V> poll(long timeout, TimeUnit unit) throws InterruptedException;
}

其submit方法与ExecutorService是一样的,多了take和poll方法,它们都是获取下一个完成任务的结果,take()会阻塞等待,poll()会立即返回,如果没有已完成的任务,返回null,带时间参数的poll方法会最多等待限定的时间。

CompletionService的主要实现类是ExecutorCompletionService,它依赖于一个Executor完成实际的任务提交,而自己主要负责结果的排队和处理,它的构造方法有两个:

public ExecutorCompletionService(Executor executor)
public ExecutorCompletionService(Executor executor, BlockingQueue<Future<V>> completionQueue)

至少需要一个Executor参数,可以提供一个BlockingQueue参数,用作完成任务的队列,没有提供的话,ExecutorCompletionService内部会创建一个LinkedBlockingQueue。

基本示例

我们在77节的invokeAll的示例中,演示了并发下载并分析URL的标题,那个例子中,是要等到所有任务都完成才处理结果的,这里,我们修改一下,一有任务完成就输出其结果,代码如下:

public class CompletionServiceDemo {
static class UrlTitleParser implements Callable<String> {
private String url; public UrlTitleParser(String url) {
this.url = url;
} @Override
public String call() throws Exception {
Document doc = Jsoup.connect(url).get();
Elements elements = doc.select("head title");
if (elements.size() > 0) {
return url + ": " + elements.get(0).text();
}
return null;
}
} public static void parse(List<String> urls) throws InterruptedException {
ExecutorService executor = Executors.newFixedThreadPool(10);
try {
CompletionService<String> completionService = new ExecutorCompletionService<>(
executor);
for (String url : urls) {
completionService.submit(new UrlTitleParser(url));
}
for (int i = 0; i < urls.size(); i++) {
Future<String> result = completionService.take();
try {
System.out.println(result.get());
} catch (ExecutionException e) {
e.printStackTrace();
}
}
} finally {
executor.shutdown();
}
} public static void main(String[] args) throws InterruptedException {
List<String> urls = Arrays.asList(new String[] {
"http://www.cnblogs.com/swiftma/p/5396551.html",
"http://www.cnblogs.com/swiftma/p/5399315.html",
"http://www.cnblogs.com/swiftma/p/5405417.html",
"http://www.cnblogs.com/swiftma/p/5409424.html" });
parse(urls);
}
}

在parse方法中,首先创建了一个ExecutorService,然后才是CompletionService,通过后者提交任务、按完成顺序逐个处理结果,这样,是不是很方便?

基本原理

ExecutorCompletionService是怎么让结果有序处理的呢?其实,也很简单,如前所述,它有一个额外的队列,每个任务完成之后,都会将代表结果的Future入队。

那问题是,任务完成后,怎么知道入队呢?我们具体来看下。

77节我们介绍过FutureTask,任务完成后,不管是正常完成、异常结束、还是被取消,都会调用finishCompletion方法,而该方法会调用一个done方法,该方法代码为:

protected void done() { }

它的实现为空,但它是一个protected方法,子类可以重写该方法。

在ExecutorCompletionService中,提交的任务类型不是一般的FutureTask,而是一个子类QueueingFuture,如下所示:

public Future<V> submit(Callable<V> task) {
if (task == null) throw new NullPointerException();
RunnableFuture<V> f = newTaskFor(task);
executor.execute(new QueueingFuture(f));
return f;
}

该子类重写了done方法,在任务完成时将结果加入到完成队列中,其代码为:

private class QueueingFuture extends FutureTask<Void> {
QueueingFuture(RunnableFuture<V> task) {
super(task, null);
this.task = task;
}
protected void done() { completionQueue.add(task); }
private final Future<V> task;
}

ExecutorCompletionService的take/poll方法就是从该队列获取结果,如下所示:

public Future<V> take() throws InterruptedException {
return completionQueue.take();
}

实现invokeAny

我们在77节提到,AbstractExecutorService的invokeAny的实现,就利用了ExecutorCompletionService,它的基本思路是,提交任务后,通过take方法获取结果,获取到第一个有效结果后,取消所有其他任务,不过,它的具体实现有一些优化,比较复杂。我们看一个模拟的示例,从多个搜索引擎查询一个关键词,但只要任意一个的结果就可以,模拟代码如下:

public class InvokeAnyDemo {
static class SearchTask implements Callable<String> {
private String engine;
private String keyword; public SearchTask(String engine, String keyword) {
this.engine = engine;
this.keyword = keyword;
} @Override
public String call() throws Exception {
// 模拟从给定引擎搜索结果
Thread.sleep(engine.hashCode() % 1000);
return "<result for> " + keyword;
}
} public static String search(List<String> engines, String keyword)
throws InterruptedException {
ExecutorService executor = Executors.newFixedThreadPool(10);
CompletionService<String> cs = new ExecutorCompletionService<>(executor);
List<Future<String>> futures = new ArrayList<Future<String>>(
engines.size());
String result = null;
try {
for (String engine : engines) {
futures.add(cs.submit(new SearchTask(engine, keyword)));
}
for (int i = 0; i < engines.size(); i++) {
try {
result = cs.take().get();
if (result != null) {
break;
}
} catch (ExecutionException ignore) {
// 出现异常,结果无效,继续
}
}
} finally {
// 取消所有任务,对于已完成的任务,取消没有什么效果
for (Future<String> f : futures)
f.cancel(true);
executor.shutdown();
}
return result;
} public static void main(String[] args) throws InterruptedException {
List<String> engines = Arrays.asList(new String[] { "www.baidu.com",
"www.sogou.com", "www.so.com", "www.google.com" });
System.out.println(search(engines, "老马说编程"));
}
}

SearchTask模拟从指定搜索引擎查询结果,search利用CompletionService/ExecutorService执行并发查询,在得到第一个有效结果后,取消其他任务。

小结

本节比较简单,主要就是介绍了CompletionService的用法和原理,它通过一个额外的结果队列,方便了对于多个异步任务结果的处理。

下一节,我们来探讨一种常见的需求 - 定时任务。

(与其他章节一样,本节所有代码位于 https://github.com/swiftma/program-logic)

----------------

未完待续,查看最新文章,敬请关注微信公众号“老马说编程”(扫描下方二维码),从入门到高级,深入浅出,老马和你一起探索Java编程及计算机技术的本质。用心原创,保留所有版权。

计算机程序的思维逻辑 (79) - 方便的CompletionService的更多相关文章

  1. 计算机程序的思维逻辑 (8) - char的真正含义

    看似简单的char 通过前两节,我们应该对字符和文本的编码和乱码有了一个清晰的认识,但前两节都是与编程语言无关的,我们还是不知道怎么在程序中处理字符和文本. 本节讨论在Java中进行字符处理的基础 - ...

  2. 计算机程序的思维逻辑 (29) - 剖析String

    上节介绍了单个字符的封装类Character,本节介绍字符串类.字符串操作大概是计算机程序中最常见的操作了,Java中表示字符串的类是String,本节就来详细介绍String. 字符串的基本使用是比 ...

  3. 计算机程序的思维逻辑 (64) - 常见文件类型处理: 属性文件/CSV/EXCEL/HTML/压缩文件

    对于处理文件,我们介绍了流的方式,57节介绍了字节流,58节介绍了字符流,同时,也介绍了比较底层的操作文件的方式,60节介绍了随机读写文件,61节介绍了内存映射文件,我们也介绍了对象的序列化/反序列化 ...

  4. 计算机程序的思维逻辑 (31) - 剖析Arrays

    数组是存储多个同类型元素的基本数据结构,数组中的元素在内存连续存放,可以通过数组下标直接定位任意元素,相比我们在后续章节介绍的其他容器,效率非常高. 数组操作是计算机程序中的常见基本操作,Java中有 ...

  5. 计算机程序的思维逻辑 (73) - 并发容器 - 写时拷贝的List和Set

    本节以及接下来的几节,我们探讨Java并发包中的容器类.本节先介绍两个简单的类CopyOnWriteArrayList和CopyOnWriteArraySet,讨论它们的用法和实现原理.它们的用法比较 ...

  6. 计算机程序的思维逻辑 (30) - 剖析StringBuilder

    上节介绍了String,提到如果字符串修改操作比较频繁,应该采用StringBuilder和StringBuffer类,这两个类的方法基本是完全一样的,它们的实现代码也几乎一样,唯一的不同就在于,St ...

  7. 计算机程序的思维逻辑 (33) - Joda-Time

    Joda-Time上节介绍了JDK API中的日期和时间类,我们提到了JDK API的一些不足,并提到,实践中有一个广泛使用的日期和时间类库,Joda-Time,本节我们就来介绍Joda-Time.俗 ...

  8. 计算机程序的思维逻辑 (38) - 剖析ArrayList

    从本节开始,我们探讨Java中的容器类,所谓容器,顾名思义就是容纳其他数据的,计算机课程中有一门课叫数据结构,可以粗略对应于Java中的容器类,我们不会介绍所有数据结构的内容,但会介绍Java中的主要 ...

  9. 计算机程序的思维逻辑 (40) - 剖析HashMap

    前面两节介绍了ArrayList和LinkedList,它们的一个共同特点是,查找元素的效率都比较低,都需要逐个进行比较,本节介绍HashMap,它的查找效率则要高的多,HashMap是什么?怎么用? ...

随机推荐

  1. 第九篇 C#实现螺旋矩阵

    C#语言,二维数组的用法和C++.java不同 其它两种也写了,差别不大这里不上传了 using System; namespace _NetRectangle { internal class Pr ...

  2. .net平台的rabbitmq使用封装

    前言 RabbitMq大家再熟悉不过,这篇文章主要整对rabbitmq学习后封装RabbitMQ.Client的一个分享.文章最后,我会把封装组件和demo奉上. Rabbitmq的运作 从下图可以看 ...

  3. Hibernate双向关联的增删改操作的属性

    双向关联关系下的增删改操作的属性                    1.cascade属性:  eg:<set name = "emps" cascade="s ...

  4. 【2017-02-23】switch...case...和for循环

    1.代码简化折叠: #region 标题 ... ... #endregion 一.switch...case... 1.格式 switch(变量){ case 值:代码段;break; case 值 ...

  5. Eclipse-ee 启动Tomcat后浏览器无法访问Tomat,并且Web项目服务部署

    环境: Ubuntu 14.04 + Eclipse-ee +  Tomcat7 问题: 在Eclipse中建立Server时选择的Tomcat7,Server的运行时选择的时自己安装的Tomcat目 ...

  6. EAS组件编辑和显示的自定义

    KDFormattedTextField kdtEntrys_returnAmount_TextField = new KDFormattedTextField(); kdtEntrys_return ...

  7. 容斥原理及SQL in关键字在EF中的应用

    突然意识到文字的重要性,于是开始写了第一个篇博客,博客目的紧紧为记录,以便温故. 同时也希望抛砖能达到引玉的作用,欢迎各位来发表自己的感想与想法,以此达到相互学习促进! 背景: 在做百度地图电子围栏的 ...

  8. Spark2.1集群安装(standalone模式)

    机器部署 准备三台Linux服务器,安装好JDK1.7 下载Spark安装包 上传spark-2.1.0-bin-hadoop2.6.tgz安装包到Linux(intsmaze-131)上 解压安装包 ...

  9. OpenCV使用FindContours进行二维码定位

    我使用过FindContours,而且知道有能够直接寻找联通区域的函数.但是我使用的大多只是"最大轮廓"或者"轮廓数目"这些数据.其实轮廓还有另一个很重要的性质 ...

  10. rsync (windows 服务端,linux客户端)将windows上的数据同步到linux服务器,反之也可

    一:总体概述. 1.windows上面首先装CW_rsync_Server.4.1.0_installer,安装时要输入的用户名密码要记住哦!接下来就是找到rsyncd.conf进入配置细节 2.li ...