ForkJoin全解1:简单使用与大致实现原理
1、 使用示例
import java.lang.reflect.Method;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveTask;
import java.util.concurrent.ThreadLocalRandom;
public class ForkJoinDemo {
public static void main(String[] args) throws Exception{
//使用ForkJoinPool来执行任务
ForkJoinPool forkJoinPool = new ForkJoinPool();
//生成一个计算任务,负责计算1+2+3+4
CountTaskTmp task = new CountTaskTmp(1, 100000000);
long r = forkJoinPool.invoke(task);
System.out.println(r);
}
}
@SuppressWarnings("serial")
// RecursiveTask是ForkJoinTask的子类
class CountTaskTmp extends RecursiveTask<Long> {
private static final long THRESHOLD = 10000000;
private long start;
private long end;
public CountTaskTmp(long start, long end) {
this.start = start;
this.end = end;
}
//实现compute 方法来实现任务切分和计算
@Override
protected Long compute() {
long sum = 0;
boolean canCompute = (end - start) <= THRESHOLD;
if (canCompute) {
for (long i = start; i <= end; i++)
sum += i;
} else {
//如果任务大于阀值,就分裂成两个子任务计算
long mid = (start + end) / 2;
CountTaskTmp leftTask = new CountTaskTmp(start, mid);
CountTaskTmp rightTask = new CountTaskTmp(mid + 1, end);
System.out.println("fork开始");
//执行子任务
leftTask.fork();
rightTask.fork();
System.out.println("fork完毕");
//等待子任务执行完,并得到结果
System.out.println("join开始");
long leftResult = leftTask.join();
long rightResult = rightTask.join();
System.out.println("join完毕");
sum = leftResult + rightResult;
}
return sum;
}
}
2、简写说明:
下面:
ForkJoinWorkerThread简写为Thread
ForkJoinWorkerPool简写为pool
ForkJoinWorkerTask简写为task
workQueue简写为queue
3、任务窃取大致实现原理
在上面示例中,我们通过THRESHOLD字段指定每个任务计算1千万个数据,如果超过一千万,则使用二分法把任务切分为leftTask和rightTask。如果leftTask和rightTask还是超过一千万数据,还会继续切分,当任务足够小,就开始真正执行计算逻辑。整个过程有点类似递归。下面使用伪码简单看下工作过程:
class ForkJoinTask{
fork(){
forJoinPool.push(this) //把任务提交到pool执行
}
T join(){
synchronized(this){
wait();//等待任务执行完毕,任务执行完毕会调用notify
}
return getRawResult();//返回当前task的结果
}
}
class WorkQueue{
ForkJoinThread owner;
ForkJoinTask array[];//存放task的数组
int top=base=0;
push(task){
//如果数组长度不够了,则创建一个长度更大的数组
growArray()
//把task放到array
array[top++]=task
}
//当这个workQueue的所属线程执行任务时,调用pop获取task
pop(){
return array[top--];
}
//当其他线程要窃取这个队列的任务时,使用poll窃取任务。通过base和top两个变量,array成了双向队列。
// pop是后进先出,而poll则是先进先出。当队列的owner执行自身队列中的task时,通过pop获得任务,
//而其他队列要窃取该队列的task时,则用该队列的poll进行任务窃取
poll(){
return array[base++];
}
growArray(){
//当array大小不够时,创建更大的数组,并把旧数组的元素拷贝到新数组
}
}
class ForkJoinPool{
WorkQueue workQueues[];//workQueue保存task
push(task){
//从workQueues选择一个工作队列,将task放入其中
selectOneWorkQueueFromWorkQueues().add(task)
signalWork(); //通知worker执行任务
}
signalWork(){
if(线程池每有足够的活动线程){
//使用Unsafe的unpark唤醒休眠的线程或调用createWorker创建新线程,并启动该线程
}
}
createWorker(){
new ForkJoinThread(this).start();
}
// ForkJoinThread构造函数中调用,借此把新new出来的ForkJoinThread注册到ForkJoinPool
registerWorker(ForkJoinThread thread){
WorkerQueue workQueue=new WorkerQueue();
// 简单起见,这里暂时理解randomIndex是一个小于workQueues长度的随机数
workQueues[randomIndex]=workQueue;
workQueue.owner=thread
return workerQueue;
}
}
class ForkJoinThread{//Thread的子类
ForkJoinPool pool;
WorkQueue workQueue;
ForkJoinThread(ForkJoinPool pool){
this.pool=pool;
this. workQueue=pool.registerWorker(this);
}
run(){//调用Thread的start方法时,run方法就会被调用
while(!terminate){
//不断执行task,每当任务执行完毕,执行notifyall通知所有等待的worker
//当自身task执行完就从pool中随机选择workQueue,并窃取该workQueue的任务来执行
//如果窃取不到任务,且当前worker由于调用了join,在等待其他线程的任务完成,则当前线程休眠
//如果窃取不到任务,且无需等待其他线程任务的执行,则线程终止
}
}
————————————————
版权声明:本文为CSDN博主「花公子丶」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/yu766588220/article/details/106870548
ForkJoin全解1:简单使用与大致实现原理的更多相关文章
- Mybatis系列全解(三):Mybatis简单CRUD使用介绍
封面:洛小汐 作者:潘潘 在理解中执行,在执行中理解,学习技术也循此道. 前言 上一篇文章 <Mybatis系列全解(二):Mybatis简介与环境搭建> ,我们对 Mybatis 做了初 ...
- 第48章 MDK的编译过程及文件类型全解—零死角玩转STM32-F429系列
第48章 MDK的编译过程及文件类型全解 全套200集视频教程和1000页PDF教程请到秉火论坛下载:www.firebbs.cn 野火视频教程优酷观看网址:http://i.youku.co ...
- RAID技术全解图解-RAID0、RAID1、RAID5、RAID100【转】
图文并茂 RAID 技术全解 – RAID0.RAID1.RAID5.RAID100…… RAID 技术相信大家都有接触过,尤其是服务器运维人员,RAID 概念很多,有时候会概念混淆.这篇文章为网络转 ...
- RAID 技术全解
图文并茂 RAID 技术全解 – RAID0.RAID1.RAID5.RAID100-- RAID 技术相信大家都有接触过,尤其是服务器运维人员,RAID 概念很多,有时候会概念混淆.这篇文章为网络转 ...
- Mybatis系列全解(八):Mybatis的9大动态SQL标签你知道几个?提前致女神!
封面:洛小汐 作者:潘潘 2021年,仰望天空,脚踏实地. 这算是春节后首篇 Mybatis 文了~ 跨了个年感觉写了有半个世纪 ... 借着女神节 ヾ(◍°∇°◍)ノ゙ 提前祝男神女神们越靓越富越嗨 ...
- Mybatis系列全解(六):Mybatis最硬核的API你知道几个?
封面:洛小汐 作者:潘潘 2020 年的大疫情,把世界撕成几片. 时至今日,依旧人心惶惶. 很庆幸,身处这安稳国, 兼得一份安稳工. · 东家常讲的一个词:深秋心态 . 大势时,不跟风.起哄, 萧条时 ...
- Mybatis系列全解(四):全网最全!Mybatis配置文件XML全貌详解
封面:洛小汐 作者:潘潘 做大事和做小事的难度是一样的.两者都会消耗你的时间和精力,所以如果决心做事,就要做大事,要确保你的梦想值得追求,未来的收获可以配得上你的努力. 前言 上一篇文章 <My ...
- Mybatis系列全解(二):Mybatis简介与环境搭建
封面:洛小汐 作者:潘潘 Mybatis 是一套持久层框架,灵活易用,特别流行. 前言 Mybatis系列全解,我们预计准备10+篇文章,让我们了解到 Mybatis 的基本全貌,真正从入门到上手,从 ...
- IOS-UITextField-全解
IOS-UITextField-全解 //初始化textfield并设置位置及大小 UITextField *text = [[UITextField alloc]initWithFrame: ...
- 什么是JavaScript闭包终极全解之一——基础概念
本文转自:http://www.cnblogs.com/richaaaard/p/4755021.html 什么是JavaScript闭包终极全解之一——基础概念 “闭包是JavaScript的一大谜 ...
随机推荐
- C# 将PDF文档转换为Markdown文档
将PDF文件转换为Markdown格式是一个非常实用的需求,尤其是在需要将内容从固定布局的PDF文件中提取出来,并转换为更易于编辑和处理的文本格式时.本文将介绍如何通过C#代码将PDF文档转换Mark ...
- 国内SRC信息收集
SRC之信息收集 前言: 关于SRC信息收集不在于工具是否全面,工具固然重要,它们能帮我们节省大量的时间收集资产,但不是说我们一定要用到所有工具,收集到某个SRC的所有资产才罢休.资产总会有遗漏, ...
- Python请求接口传Null
Python中没有Null,与之对应的是None. {"dog": "keji", "cat": None}
- [离线计算-Spark|Hive] 数据近实时同步数仓方案设计
背景 最近阅读了大量关于hudi相关文章, 下面结合对Hudi的调研, 设计一套技术方案用于支持 MySQL数据CDC同步至数仓中,避免繁琐的ETL流程,借助Hudi的upsert, delete 能 ...
- VMware使用Ubuntu20.04时发生屏幕闪烁
问题:VMware使用Ubuntu20.04时发生屏幕闪烁 分析:这是由于虚拟机里面的显示器不支持3D加速问题导致的 解决方法:关闭虚拟机 → 左上角菜单 → 虚拟机 → 设置 → 显示器 → 取消勾 ...
- uni app下开发AI运动小程序解决方案
一.引言 近年来,随着AI视频识别技术的飞速发展,市场上涌现出了众多基于视觉识别的AI运动APP.这些APP凭借AI视觉识别技术的强大能力,让用户只需面对摄像头进行运动锻炼,就能享受到智能计时.精准计 ...
- php操作sqlite3
距离上次接触sqlite3已经快一年了,去年这篇文章讲跟着菜鸟教程学python操作sqlite3,https://www.cnblogs.com/lizhaoyao/p/13717381.html ...
- Qt5 CMake 使用指南
Qt5 CMake 使用指南 CMAKE_PREFIX_PATH的使用说明 CMAKE_PREFIX_PATH是CMake中一个重要的环境变量,它用于帮助CMake在配置项目时找到各种依赖项的位置.这 ...
- element-ui table 实现表格展开行每次只能展开一行
1.table 部分 :row-key='getRowKeys':expand-row-keys="expands"@expand-change="expandSelec ...
- Getting Flex 3 talking to Java via JSON
packagecom.giantflyingsaucer; importjava.io.*; importjava.io.PrintWriter; importjavax.servlet.*; imp ...