Executor
一、为什么需要Executor?
为了更好的控制多线程,JDK提供了一套线程框架Executor,帮助开发人员
有效的进行线程控制。他们都在java.util.concurrent包中,是JDK并发包的
核心。其中有一个比较重要的类:Executors,他扮演着线程工厂的角色,我
们通过Executors可以创建特定功能的线程池。
newFixedThreadPool()方法,该方法返回一个固定数量的线程池,该方法的线程数始
终不变。当已有一个任务提交时,若线程池中空闲,则立即执行,若没有,则会被暂缓在
一个任务队列中等待有空闲的线程去执行。
newSingleThreadExecutor()方法,创建一个线程的线程池,若空闲则执行,若没有
空闲线程则暂缓在任务队列中。
newCachedThreadPool()方法,返回一个可根据实际情况调整线程个数的线程池,不
限制最大线程数量,若有空闲的线程则执行任务,若无任务则不创建线程。并且
每一个空闲线程会在60秒后自动回收。
newScheduledThreadPool()方法,该方法返回一个SchededExecutorService对象,但
该线程池可以指定线程的数量。
二、对上面的几个JDK提供的线程池做分析?
四个方法底层代码都是创建了一个ThreadPoolExecutor对象返回的。
自定义线程池
若Executor工厂类无法满足我们的需求,可以自己去创建自定义的线程池,其实
Executors工程类里面的创建线程方法其内部实现均是用了ThreadPoolExecutor这个
类,这个类可以自定义线程。构造方法如下:
public ThreadPoolExecutor(
int corePoolSize, //核心线程数,new的时候直接初始化的线程数量
int maxinumPoolSize, //最大线程数
long keppAliveTime, //空闲时间
TimeUnit unit, //时间单位
BlockingQueue<Runnable> workQueue, //任务队列
ThreadFactory threadFactory, //
RejectedExecutionHandler handler //
)
对于newFixedThreadPool(10)
ThreadPoolExecutor(10, 10,
0L, TimeUnit.MILLISECONDS,
new LinkedBlockingQueue<Runnable>());
对于newSingleThreadExecutor()
new ThreadPoolExecutor(1, 1,
0L, TimeUnit.MILLISECONDS,
new LinkedBlockingQueue<Runnable>())
对于newCachedThreadPool()
ThreadPoolExecutor(0, Integer.MAX_VALUE,
60L, TimeUnit.SECONDS,
new SynchronousQueue<Runnable>());
这里需要注意了,刚创建完CacheThreadPool对象,池中是没有任何线程的,
也就是说来一个任务会创建一个线程去执行;并且如果一个线程空闲时间大于60s了
那么他就会被释放掉了。为什么会来一个任务就创建一个线程,是因为使用了
SynchronousQueue的原因。
对于newScheduledThreadPool(10)
super(10, Integer.MAX_VALUE, 0, TimeUnit.NANOSECONDS,
new DelayedWorkQueue());
说明这个线程池也是不限制任务数量的,默认池初始化有10个线程,
并且使用的是DelayedWorkQueue()说明是带有定时任务的一些任务。
三、newScheduledThreadPool的使用
class Temp extends Thread{
@Override
public void run() {
System.out.println("temp run...");
}
}
public class TestFixedThreadPool {
public static void main(String[] args) {
/**
ExecutorService pool1 = Executors.newFixedThreadPool(10);
ExecutorService pool2 = Executors.newSingleThreadExecutor();
ExecutorService pool3 = Executors.newCachedThreadPool();
**/
ScheduledExecutorService pool4 = Executors.newScheduledThreadPool(10);
//其中的5是初始化时间
//其中的1是轮询时间
//下面这句代码的执行结果是,程序启动后延迟5s的时间来初始化任务,然后每隔一秒钟就执行一次run方法
pool4.scheduleWithFixedDelay(new Temp(), 5, 1,TimeUnit.SECONDS);
}
}
四、自定义线程池
public ThreadPoolExecutor(
int corePoolSize, //核心线程数,new的时候直接初始化的线程数量
int maxinumPoolSize, //最大线程数
long keppAliveTime, //空闲时间
TimeUnit unit, //时间单位
BlockingQueue<Runnable> workQueue, //任务队列
ThreadFactory threadFactory, //
RejectedExecutionHandler handler //
)
这个构造方法对于队列是什么类型的比较关键
在使用有界队列时,若有新的任务需要执行,如果线程池实际线程小于corePoolSize,
则优先创建线程;若大于corePoolSize,则会将任务加入队列,若队列已满,则在总
线程数不大于maxnumPoolSize的前提下,创建新的线程,若线程数大于maxmunPoolSize,
则执行拒绝策略。或其他自定义方式。
无界的任务队列时:LinkedBlockingQueue。与有界队列相比,除非系统资源耗尽,否则
无界的任务队列不存在任务入队失败的情况。当有新任务到来,系统的线程数小于
corePoolSize时,则新建线程执行任务。当达到corePoolSize后,就不会继续增加。
若后续仍有新的任务加入,而没有空闲的线程资源,则任务直接进入队列等待。若任务
创建和处理的速度差异很大,无界队列会保持快速增长,直至耗尽系统内存。
JDK拒绝策略:
AbortPolicy:直接抛出异常组织系统正常工作
CallerRunsPolicy:只要线程池未关闭,该策略直接在调用者线程中,运行当前被丢弃的任务。
DiscardOldestPolicy:丢弃最老的一个请求,尝试再次提交当前任务。
DiscardPolocy:丢弃无法处理的任务,不给于任何处理。
如果需要自定义拒绝策略可以实现RejectExecutionHandler接口。
4.1有界队列的例子
public class UseSizeQueue {
public static void main(String[] args) {
/**
* 在使用有界队列时,若有新的任务需要执行,如果线程池实际线程数小于corePoolSize,则优先创建线程,
* 若大于corePoolSize,则会将任务加入队列, 若队列已满,则在总线程数不大于maximumPoolSize的前提下,创建新的线程,
* 若线程数大于maximumPoolSize,则执行拒绝策略。或其他自定义方式。
*
*/
ThreadPoolExecutor pool = new ThreadPoolExecutor(1, // coreSize
2, // MaxSize
60, // 60
TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(3) // 指定一种队列(有界队列)
, new MyRejected()
);
MyTask mt1 = new MyTask(1, "任务1");
MyTask mt2 = new MyTask(2, "任务2");
MyTask mt3 = new MyTask(3, "任务3");
MyTask mt4 = new MyTask(4, "任务4");
MyTask mt5 = new MyTask(5, "任务5");
MyTask mt6 = new MyTask(6, "任务6");
pool.execute(mt1);
pool.execute(mt2);
pool.execute(mt3);
pool.execute(mt4);
pool.execute(mt5);
pool.execute(mt6);
//调用线程池的shutdown方法,并不是直接这个线程池就销毁了
//而是等到所有任务运行结束
pool.shutdown();
}
}
1.如果上述代码只有pool.execute(mt1);的话,那么输出是:run taskId =1,并且在5s之后程序停止,这就是第一种情况:
在使用有界队列时,若有新的任务需要执行,如果线程池实际线程数小于corePoolSize,则优先创建线程。
2.如果上述代码有
pool.execute(mt1);
pool.execute(mt2);
两行,那么输出是:
run taskId =1
run taskId =2
并且先输出run taskId=1等待5s之后输出run taskId =2,再等待5s之后程序停止,这就是第二种情况:
若大于corePoolSize,则会将任务加入队列,
3.如果上述代码有5行
pool.execute(mt1);
pool.execute(mt2);
pool.execute(mt3);
pool.execute(mt4);
pool.execute(mt5);
则输出是这样的:
run taskId =1
run taskId =5
run taskId =2
run taskId =3
run taskId =4
首先是1和5执行,然后经过5s后,2和3执行,在经过5s后4执行,然后经过5s后程序结束。
这就是第三种情况:
若队列已满,则在总线程数不大于maximumPoolSize的前提下,创建新的线程,
4.如果代码有6行:
pool.execute(mt1);
pool.execute(mt2);
pool.execute(mt3);
pool.execute(mt4);
pool.execute(mt5);
pool.execute(mt6);
执行效果是:
自定义处理..
run taskId =1
当前被拒绝任务为:6
run taskId =5
run taskId =2
run taskId =3
run taskId =4
也就是说,当6来的时候被拒绝了,这就是第四种情况:
若线程数大于maximumPoolSize,则执行拒绝策略。或其他自定义方式。
4.2无界队列的例子
public class NoSizeQueue implements Runnable{
private static AtomicInteger count = new AtomicInteger(0);
public void run() {
try {
int temp = count.incrementAndGet();
System.out.println("任务" + temp);
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
public static void main(String[] args) throws Exception{
BlockingQueue<Runnable> queue =
new LinkedBlockingQueue<Runnable>();
ExecutorService executor = new ThreadPoolExecutor(
5, //core
10, //max
120L, //2fenzhong
TimeUnit.SECONDS,
queue);
for(int i = 0 ; i < 20; i++){
executor.execute(new NoSizeQueue());
}
Thread.sleep(1000);
System.out.println("queue size:" + queue.size()); //10
Thread.sleep(2000);
}
}
执行的结果是:
任务1
任务2
任务3
任务5
任务4
queue size:15
任务6
任务7
任务8
任务9
任务10
任务11
任务12
任务13
任务14
任务15
任务16
任务17
任务18
任务19
任务20
先执行了前5个任务,然后休息了时间。然后又取出了5个任务,然后又取出了5个任务,最后又取出了5个任务
最先前的5个任务到位后,因为当前线程数小于coreSize,所以就直接新建线程执行了。
其他的后面的15个任务会加入到队列中,等待被执行。
五、拒绝策略
AbortPolicy:直接抛出异常组织系统正常工作,当前任务丢失了,但是队列中等到的任务继续执行。
CallerRunsPolicy:只要线程池未关闭,该策略直接在调用者线程中,运行当前被丢弃的任务。
如果需要自定义拒绝策略可以实现RejectExecutionHandler接口。
public class MyRejected implements RejectedExecutionHandler{
public MyRejected(){
}
//其中r就是线程对象MyTask的一个实例
//executor就是当前的线程池对象
public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
System.out.println("自定义处理..");
System.out.println("当前被拒绝任务为:" + r.toString());
}
}
常用的拒绝策略是:写日志,然后写一个定时的job,读取log日志,然后重跑。
或者向数据源发送拒绝消息
Executor的更多相关文章
- 架构师养成记--11.Executor概述
常用方法 Executors.newFiexdPool(int nThreads);固定线程数量的线程池: Executors.newSingleThreadExecutor();单个线程的线程池: ...
- java并发编程(十七)Executor框架和线程池
转载请注明出处:http://blog.csdn.net/ns_code/article/details/17465497 Executor框架简介 在Java 5之后,并发编程引入了一堆新的启动 ...
- java使用Executor(执行器)管理线程
一.一个实现了Runnable接口的类 class MyThread implements Runnable{ private static int num = 0; @Override public ...
- 使用Executor管理线程
上一篇博客(第一个并发程序:定义任务和驱动任务)中,我们使用Thread对象启动线程,而java.util.concurrent包的Executor执行器提供了更好的管理Thread对象的方法,从而简 ...
- Executor框架(转载)
Executor框架是指java 5中引入的一系列并发库中与executor相关的一些功能类,其中包括线程池,Executor,Executors,ExecutorService,Completion ...
- Spark源码学习1.6——Executor.scala
Executor.scala 一.Executor类 首先判断本地性,获取slaves的host name(不是IP或者host: port),匹配运行环境为集群或者本地.如果不是本地执行,需要启动一 ...
- Spark Streaming源码解读之Executor容错安全性
本期内容 : Executor的WAL 消息重放 数据安全的角度来考虑整个Spark Streaming : 1. Spark Streaming会不断次序的接收数据并不断的产生Job ,不断的提交J ...
- 模拟Executor策略的实现
Executor作为现在线程的一个管理工具,就像管理线程的管理器一样,不用像以前一样,通过start来开启线程 Executor将提交线程与执行线程分离开来,使得用户只需要提交线程,并不需要在乎怎么和 ...
- Java并发和多线程(二)Executor框架
Executor框架 1.Task?Thread? 很多人在学习多线程这部分知识的时候,容易搞混两个概念:任务(task)和线程(thread). 并发编程可以使我们的程序可以划分为多个分离的.独立运 ...
- 获取Executor提交的并发执行的任务返回结果的两种方式/ExecutorCompletionService使用
当我们通过Executor提交一组并发执行的任务,并且希望在每一个任务完成后能立即得到结果,有两种方式可以采取: 方式一: 通过一个list来保存一组future,然后在循环中轮训这组future,直 ...
随机推荐
- day14 多态与抽象
多态:相同的行为,不同的实现. 多态分为:静态多态和动态多态. 静态多态:在编译期即确定方法的实现和效果.——使用重载实现 动态多态:运行后才能确定方法的实现和执行效果.——使用动态绑定和重写实现 动 ...
- java反射机制的理解
反射机制是什么概念?大多都有介绍,指的是程序在运行状态中,能够加载一个只有类名的类,加载完之后会在堆上产生一个Class对象.通过这个 Class对象可以获得类的属性.方法和其他类信息.之前对反射的应 ...
- UIScrollView增加回弹效果
项目中经常要增加上下滑动回弹的效果: self.scrollView.alwaysBounceVertical = YES;
- Java并发编程原理与实战三十六:阻塞队列&消息队列
一.阻塞队列 1.阻塞队列BlockingQueue ---->可以理解成生产者消费者的模式---->消费者要等待到生产者生产出来产品.---->而非阻塞队列ConcurrentLi ...
- ETL testing
https://www.tutorialspoint.com/etl_testing/index.htm querysurge-installer-6.0.5-linux-x64 测试ETL的工具.
- 【CodeForces】961 F. k-substrings 字符串哈希+二分
[题目]F. k-substrings [题意]给定长度为n的串S,对于S的每个k-子串$s_ks_{k+1}...s_{n-k+1},k\in[1,\left \lceil \frac{n}{2} ...
- shell作业后台执行的方法
来思考几种场景: 1.某个脚本需要执行时间比较长,无人值守,可能执行过程中因ssh会话超时而中断? 2.某次测试一段代码,需要临时放入后台运行? 3.放入后台运行的脚本,需要在一段时间后重新调到前台? ...
- numpy 矩阵操作
numpy 对矩阵对角线.上三角.下三角以及它们所在位置索引的提取 import numpy as np a = np.random.randint(0,10,[5,5]) print(a) # c ...
- Memcached与KVDB的区别
Memcached将数据存储在内存中,数据易丢失,不适合对数据进行长期存储. KVDB则是将数据存储在磁盘中,数据安全性级别高,不易丢失.
- yii验证系统学习记录,基于yiicms(一)写的太长了,再写一篇(二)
项目地址:https://gitee.com/templi/yiicms 感谢七觞酒大神的付出,和免费分享.当然也感谢yii2的开发团队们. 项目已经安全完毕,不知道后台密码,这种背景下,后台无法进去 ...