Java不支持协程?那是你不知道Quasar!
原创:微信公众号
码农参上,欢迎分享,转载请保留出处。
在编程语言的这个圈子里,各种语言之间的对比似乎就一直就没有停过,像什么古早时期的"PHP是世界上最好的语言"就不提了,最近我在摸鱼的时候,看到不少文章都在说"Golang性能吊打Java"。作为一个写了好几年java的javaer,这我怎么能忍?于是在网上看了一些对比golang和java的文章,其中戳中java痛点、也是golang被吹上天的一条,就是对多线程并发的支持了。先看一段描述:
Go从语言层面原生支持并发,并且使用简单,Go语言中的并发基于轻量级线程
Goroutine,创建成本很低,单个Go应用也可以充分利用CPU多核,编写高并发服务端软件简单,执行性能好,很多情况下完全不需要考虑锁机制以及由此带来的各种问题。
看到这,我的心瞬间凉了大半截,真的是字字扎心。虽然说java里的JUC包已经帮我们封装好了很多并发工具,但实际高并发的环境中我们还要考虑到各种锁的使用,以及服务器性能瓶颈、限流熔断等非常多方面的问题。
再说回go,前面提到的这个goroutine究竟是什么东西?其实,轻量级线程goroutine也可以被称为协程,得益于go中的调度器以及GMP模型,go程序会智能地将goroutine中的任务合理地分配给每个 CPU。
好了,其实上面说的这一大段我也不懂,都是向写go的哥们儿请教来的,总之就是go的并发性能非常优秀就是了。不过这都不是我们要说的重点,今天我们要讨论的是如何在Java中使用协程。
协程是什么?
我们知道,线程在阻塞状态和可运行状态的切换,以及线程间的上下文切换都会造成性能的损耗。为了解决这些问题,引入协程coroutine这一概念,就像在一个进程中允许存在多个线程,在一个线程中,也可以存在多个协程。

那么,使用协程究竟有什么好处呢?
首先,执行效率高。线程的切换由操作系统内核执行,消耗资源较多。而协程由程序控制,在用户态执行,不需要从用户态切换到内核态,我们也可以理解为,协程是一种进程自身来调度任务的调度模式,因此协程间的切换开销远小于线程切换。
其次,节省资源。因为协程在本质上是通过分时复用了一个单线程,因此能够节省一定的资源。
类似于线程的五种状态切换,协程间也存在状态的切换,下面这张图展示了协程调度器内部任务的流转。

综合上面这些角度来看,和原生支持协程的go比起来,java在多线程并发上还真的是不堪一击。但是,虽然在Java官方的jdk中不能直接使用协程,但是,有其他的开源框架借助动态修改字节码的方式实现了协程,就比如我们接下来要学习的Quasar。
Quasar使用
Quasar是一个开源的Java协程框架,通过利用Java instrument技术对字节码进行修改,使方法挂起前后可以保存和恢复jvm栈帧,方法内部已执行到的字节码位置也通过增加状态机的方式记录,在下次恢复执行可直接跳转至最新位置。
Quasar项目最后更新时间为2018年,版本停留在0.8.0,但是我在直接使用这个版本时报了一个错误:

这个错误的大意就是这个class文件是使用的高版本jdk编译的,所以你在低版本的jdk上当然无法运行了。这里major版本号54对应的是jdk10,而我使用的是jdk8,无奈降级试了一下低版本,果然0.7.10可以使用:
<dependency>
<groupId>co.paralleluniverse</groupId>
<artifactId>quasar-core</artifactId>
<version>0.7.10</version>
</dependency>
在我们做好准备工作后,下面就写几个例子来感受一下协程的魅力吧。
1、运行时间
下面我们模拟一个简单的场景,假设我们有一个任务,平均执行时间为1秒,分别测试一下使用线程和协程并发执行10000次需要消耗多少时间。
先通过线程进行调用,直接使用Executors线程池:
public static void main(String[] args) throws InterruptedException {
CountDownLatch countDownLatch=new CountDownLatch(10000);
long start = System.currentTimeMillis();
ExecutorService executor= Executors.newCachedThreadPool();
for (int i = 0; i < 10000; i++) {
executor.submit(() -> {
try {
TimeUnit.SECONDS.sleep(1);
} catch (InterruptedException e) {
e.printStackTrace();
}
countDownLatch.countDown();
});
}
countDownLatch.await();
long end = System.currentTimeMillis();
System.out.println("Thread use:"+(end-start)+" ms");
}
查看运行时间:

好了,下面我们再用Quasar中的协程跑一下和上面相同的流程。这里我们要使用的是Quasar中的Fiber,它可以被翻译为协程或纤程,创建Fiber的类型主要可分为下面两类:
public Fiber(String name, FiberScheduler scheduler, int stackSize, SuspendableRunnable target);
public Fiber(String name, FiberScheduler scheduler, int stackSize, SuspendableCallable<V> target);
在Fiber中可以运行无返回值的SuspendableRunnable或有返回值的SuspendableCallable,看这个名字也知道区别就是java中的Runnable和Callable的区别了。其余参数都可以省略,name为协程的名称,scheduler是调度器,默认使用FiberForkJoinScheduler,stackSize指定用于保存fiber调用栈信息的stack大小。
在下面的代码中,使用了Fiber.sleep()方法进行协程的休眠,和Thread.sleep()非常类似。
public static void main(String[] args) throws InterruptedException {
CountDownLatch countDownLatch=new CountDownLatch(10000);
long start = System.currentTimeMillis();
for (int i = 0; i < 10000; i++) {
new Fiber<>(new SuspendableRunnable(){
@Override
public Integer run() throws SuspendExecution, InterruptedException {
Fiber.sleep(1000);
countDownLatch.countDown();
}
}).start();
}
countDownLatch.await();
long end = System.currentTimeMillis();
System.out.println("Fiber use:"+(end-start)+" ms");
}
直接运行,报了一个警告:
QUASAR WARNING: Quasar Java Agent isn't running. If you're using another instrumentation method you can ignore this message; otherwise, please refer to the Getting Started section in the Quasar documentation.
还记得我们前面说过的Quasar生效的原理是基于Java instrument技术吗,所以这里需要给它添加一个代理Agent。找到本地maven仓库中已经下好的jar包,在VM options中添加参数:
-javaagent:E:\Apache\maven-repository\co\paralleluniverse\quasar-core\0.7.10\quasar-core-0.7.10.jar
这次运行时就没有提示警告了,查看一下运行时间:

运行时间只有使用线程池时的一半多一点,确实能大大缩短程序的效率。
2、内存占用
在测试完运行时间后,我们再来测试一下运行内存占用的对比。通过下面代码尝试在本地启动100万个线程:
public static void main(String[] args) {
for (int i = 0; i < 1000000; i++) {
new Thread(() -> {
try {
Thread.sleep(100000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}).start();
}
}
本来以为会报OutOfMemoryError,但是没想到的是我的电脑直接直接卡死了…而且不是一次,试了几次都是以卡死只能重启电脑而结束。好吧,我选择放弃,那么下面再试试启动100万个Fiber协程。
public static void main(String[] args) throws Exception {
CountDownLatch countDownLatch=new CountDownLatch(10000);
for (int i = 0; i < 1000000; i++) {
int finalI = i;
new Fiber<>((SuspendableCallable<Integer>)()->{
Fiber.sleep(100000);
countDownLatch.countDown();
return finalI;
}).start();
}
countDownLatch.await();
System.out.println("end");
}
程序能够正常执行结束,看样子使用的内存真的比线程少很多。上面我故意使每个协程结束的时间拖得很长,这样我们就可以在运行过程中使用Java VisualVM查看内存的占用情况了:

可以看到在使用Fiber的情况下只使用了1G多一点的内存,平均到100万个协程上也就是说每个Fiber只占用了1Kb左右的内存空间,和Thread线程比起来真的是非常的轻量级。
从上面这张图中我们也可以看到,运行了非常多的ForkJoinPool,它们又起到了什么作用呢?我们在前面说过,协程是由程序控制在用户态进行切换,而Quasar中的调度器就使用了一个或多个ForkJoinPool来完成对Fiber的调度。
3、原理与应用
这里简单介绍一下Quasar的原理,在编译时框架会对代码进行扫描,如果方法带有@Suspendable注解,或抛出了SuspendExecution,或在配置文件META-INF/suspendables中指定该方法,那么Quasar就会修改生成的字节码,在park挂起方法的前后,插入一些字节码。
这些字节码会记录此时协程的执行状态,例如相关的局部变量与操作数栈,然后通过抛出异常的方式将cpu的控制权从当前协程交回到控制器,此时控制器可以再调度另外一个协程运行,并通过之前插入的那些字节码恢复当前协程的执行状态,使程序能继续正常执行。
回头看一下前面例子中的SuspendableRunnable和SuspendableCallable,它们的run方法上都抛出了SuspendExecution,其实这并不是一个真正的异常,仅作为识别挂起方法的声明,在实际运行中不会抛出。当我们创建了一个Fiber,并在其中调用了其他方法时,如果想要Quasar的调度器能够介入,那么必须在使用时层层抛出这个异常或添加注解。
看一下简单的代码书写的示例:
public void request(){
new Fiber<>(new SuspendableRunnable() {
@Override
public void run() throws SuspendExecution, InterruptedException {
String content = sendRequest();
System.out.println(content);
}
}).start();
}
private String sendRequest() throws SuspendExecution {
return realSendRequest();
}
private String realSendRequest() throws SuspendExecution{
HttpResponse response = HttpRequest.get("http://127.0.0.1:6879/name").execute();
String content = response.body();
return content;
}
需要注意的是,如果在方法内部已经通过try/catch的方式捕获了Exception,也应该再次手动抛出这个SuspendExecution异常。
总结
本文介绍了Quasar框架的简单使用,其具体的实现原理比较复杂,暂时就不在这里进行讨论,后面打算单独拎出来进行分析。另外,目前已经有不少其他的框架中已经集成了Quasar,例如同样是Parallel Universe下的Comsat项目,能够提供了HTTP和DB访问等功能。
虽然现在想要在Java中使用协程还只能使用这样的第三方的框架,但是也不必灰心,在OpenJDK 16中已经加入了一个名为Project Loom的项目, 在OpenJDK Wiki上可以看到对它的介绍,它将使用Fiber轻量级用户模式线程,从jvm层面对多线程技术进行彻底的改变,使用新的编程模型,使轻量级线程的并发也能够适用于高吞吐量的业务场景。
Quasar和Loom的相关的文档放在下面,有兴趣的小伙伴们可以自己看一下。
Quasar git:https://github.com/puniverse/quasar
Quasar api:http://docs.paralleluniverse.co/quasar/javadoc/
OpenJdk Wiki:https://wiki.openjdk.java.net/display/loom/Main
那么,这次的分享就到这里,我是Hydra,下期见。
作者简介,码农参上,一个热爱分享的公众号,有趣、深入、直接,与你聊聊技术。个人微信DrHydra9,欢迎添加好友,进一步交流。
Java不支持协程?那是你不知道Quasar!的更多相关文章
- Java之协程(quasar)
一.前面我们简单的说了一下,Python中的协程原理.这里补充Java的协程实现过程.有需要可以查看python之协程. 二.Java协程,其实做Java这么久我也没有怎么听过Java协程的东西,但是 ...
- 深入分析 Java、Kotlin、Go 的线程和协程
前言 协程是什么 协程的好处 进程 进程是什么 进程组成 进程特征 线程 线程是什么 线程组成 任务调度 进程与线程的区别 线程的实现模型 一对一模型 多对一模型 多对多模型 线程的"并发& ...
- Java协程实践指南(一)
一. 协程产生的背景 说起协程,大多数人的第一印象可能就是GoLang,这也是Go语言非常吸引人的地方之一,它内建的并发支持.Go语言并发体系的理论是C.A.R Hoare在1978年提出的CSP(C ...
- 第二章 - Java与协程
Java与协程 内核线程的局限 通过一个具体场景来解释目前Java线程面临的困境.今天对Web应用的服务要求,不论是在请求数量上还是在复杂度上,与十多年前相比已不可同日而语,这一方面是源于业务量的增长 ...
- Java将增加虚拟线程,挑战Go协程
我们知道 Go 语言最大亮点之一就是原生支持并发,这得益于 Go 语言的协程机制.一个 go 语句就可以发起一个协程 (goroutin).协程本质上是一种用户态线程,它不需要操作系统来进行调度,而是 ...
- 从Erlang进程看协程思想
从Erlang进程看协程思想 多核慢慢火了以后,协程类编程也开始越来越火了.比较有代表性的有Go的goroutine.Erlang的Erlang进程.Scala的actor.windows下的fibr ...
- Lua学习笔记(六):协程
多线程和协程 多线程是抢占式多任务(preemptive multitasking),每个子线程由操作系统来决定何时执行,由于执行时间不可预知所以多线程需要使用同步技术来避免某些问题.在单核计算机中, ...
- 进程、线程、轻量级进程、协程和go中的Goroutine
进程.线程.轻量级进程.协程和go中的Goroutine 那些事儿电话面试被问到go的协程,曾经的军伟也问到过我协程.虽然用python时候在Eurasia和eventlet里了解过协程,但自己对协程 ...
- Java 中的纤程库 – Quasar
来源:鸟窝, colobu.com/2016/07/14/Java-Fiber-Quasar/ 如有好文章投稿,请点击 → 这里了解详情 最近遇到的一个问题大概是微服务架构中经常会遇到的一个问题: 服 ...
随机推荐
- CodeForces 519B A and B and Compilation Errors (超水题)
这道题是超级水的,在博客上看有的人把这道题写的很麻烦. 用 Python 的话是超级的好写,这里就奉上 C/C++ 的AC. 代码如下: #include <cstdio> #includ ...
- python+selenium 元素定位--iframe
1. 一般webdriver要操作页面元素需要在Top Window的状态下,如下: 2.当浏览器显示iframe时,用正常的元素定位是没有效果的,需要将页面装换到iframe下再对页面元素进行操作 ...
- Cesium入门6 - Adding Imagery - 添加图层
Cesium入门6 - Adding Imagery - 添加图层 Cesium中文网:http://cesiumcn.org/ | 国内快速访问:http://cesium.coinidea.com ...
- vue项目再HBuilder打包成app后,有ui模块未添加的弹窗
直接在打包后的mainifst.json的文件夹中加入标注部分,我是这样解决了的
- Vscode不能连接应用商店
删除这两个文件即可: 1.C:\Users\Administrator\.vscode 2.C:\Users\Administrator\AppData\Roaming\Code
- 从容器镜像的选择-alpine 说起
在 容器崛起之前,Alpine 还是个无名之辈,可能是因为大家并不是很关心操作系统本身的大小,毕竟大家只关心业务数据和文档,程序.库文件和系统本身的大小通常可以忽略不计. 容器技术席卷整个软件产业之后 ...
- golang中sha256、md5加密,base64encode、base64decode
package tool import ( "crypto/md5" "crypto/sha256" "encoding/base64" & ...
- while...break 实例
// 输出1-100内前5个可以被3整除的数 public class Demo { public static void main(String[] args) { int num = 0; for ...
- redis一主两从搭建
一主两从搭建: 主配: daemonize yes port 6379 logfile ./redis6379.log dir ./ bind 10.131.156.170 从1配: daemoniz ...
- 洛谷P7814 「小窝 R3」心の記憶
题意 第一行给定两个数字\(n\) \(m\) \((m \ge n)\)分别代表给定字符串长度以及需要构造出的字符串长度 第二行给定一个长度为\(n\)的字符串 (假设原来的字符串是\(a\) 需要 ...