Java 使用线程池分批插入或者更新数据
需求:在开发业务报表时,需要从MySQL数据库读取数据后进行操作,然后写入数据库,使用定时任务跑批。
分析:①兼顾性能,② MySQL没有Oracle那么方便、强大的存储过程。综上所述,使用线程池以分批提交的方案来插入MySQL数据库,对于更新操作、在Java端进行分页等的操作,本方案也支持。代码如下:
     private void batchDeal(List data, int batchNum) throws InterruptedException {
         int totalNum = data.size();
         int pageNum = totalNum % batchNum == 0 ? totalNum / batchNum : totalNum / batchNum + 1;
         ExecutorService executor = Executors.newFixedThreadPool(pageNum); 
 5         try {
             CountDownLatch countDownLatch = new CountDownLatch(pageNum);
             List subData = null;
             int fromIndex, toIndex;
             for (int i = 0; i < pageNum; i++) {
                 fromIndex = i * batchNum;
                 toIndex = Math.min(totalNum, fromIndex + batchNum);
                 subData = data.subList(fromIndex, toIndex);
                 ImportTask task = new ImportTask(subData, countDownLatch);
                 executor.execute(task);
             }
             // 主线程必须在启动其它线程后立即调用CountDownLatch.await()方法,
             // 这样主线程的操作就会在这个方法上阻塞,直到其它线程完成各自的任务。
             // 计数器的值等于0时,主线程就能通过await()方法恢复执行自己的任务。
             countDownLatch.await();
             logger.info("数据操作完成!可以在此开始其它业务");
         } finally {
             // 关闭线程池,释放资源
             executor.shutdown();
         }
     }
     class ImportTask implements Runnable {
         private List list;
         private CountDownLatch countDownLatch;
         public ImportTask(List data, CountDownLatch countDownLatch) {
             this.list = data;
             this.countDownLatch = countDownLatch;
         }
         @Override
         public void run() {
             if (null != list) {
                 // 业务逻辑,例如批量insert或者update
                 logger.info("现在操作的数据是{}", list);
             }
             // 发出线程任务完成的信号
             countDownLatch.countDown();
         }
     }
在第1行中,List data表示传入的数据,batchNum表示每一次处理的数量,例如500条等。
Java 使用线程池分批插入或者更新数据的更多相关文章
- Java进阶——— 线程池的原理分析
		前言 在了解线程池之前,其实首先出现的疑问是:为什么要使用线程池,其次是了解什么是线程池,最后是如何使用线程池,带着疑问去学习. 为什么要使用 前面多线程文章中,需要使用线程就开启一个新线程,简单方便 ... 
- 线程池;java的线程池的实现原理;适用于频繁互动(如电商网站)
		线程池是一种多线程处理形式,处理过程中将任务加入到队列,然后在创建线程后自己主动启动这些任务.线程池线程都是后台线程.每一个线程都使用默认的堆栈大小,以默认的优先级执行.并处于多线程单元中. 假设某个 ... 
- 谈谈Java的线程池设计
		在实际项目中,如果因为想异步执行暂时性的任务而不断创建线程是很浪费资源的事情(当一个任务执行完后,线程也没用了).这种情况下,最好是将任务提交给线程池执行. 所谓池,就是将管理某一种资源,对资源进行复 ... 
- [Java多线程]-线程池的基本使用和部分源码解析(创建,执行原理)
		前面的文章:多线程爬坑之路-学习多线程需要来了解哪些东西?(concurrent并发包的数据结构和线程池,Locks锁,Atomic原子类) 多线程爬坑之路-Thread和Runable源码解析 多线 ... 
- 深入理解Java之线程池
		原作者:海子 出处:http://www.cnblogs.com/dolphin0520/ 本文归作者海子和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则 ... 
- Java中线程池的学习
		线程池的基本思想还是一种对象池的思想,开辟一块内存空间,里面存放了众多(未死亡)的线程,池中线程执行调度由池管理器来处理.当有线程任务时,从池中取一个,执行完成后线程对象归池,这样可以避免反复创建线程 ... 
- java利用线程池处理集合
		java利用线程池处理集合 2018年07月23日 17:21:19 衍夏成歌 阅读数:866 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/s ... 
- 深入理解Java之线程池(爱奇艺面试)
		爱奇艺的面试官问 (1) 线程池是如何关闭的 (2) 如何确定线程池的数量 一.线程池销毁,停止线程池 ThreadPoolExecutor提供了两个方法,用于线程池的关闭,分别是shutdown() ... 
- Java中线程池,你真的会用吗?
		在<深入源码分析Java线程池的实现原理>这篇文章中,我们介绍过了Java中线程池的常见用法以及基本原理. 在文中有这样一段描述: 可以通过Executors静态工厂构建线程池,但一般不建 ... 
随机推荐
- (十五)Activitivi5之多用户任务分配
			一.概念 我们在开发的时候,有一种情况是这样的, 我们有一个任务,可以让多个用户中的任何一个人办理即可,比如某个审批任务, 张三,李四,王五他们中的任何一人办理下都行,这时候,我们用到多用户任务分配. ... 
- 获取类的描述信息 DescriptionAttribute
			static void Main(string[] args) { var attrs = typeof(TestClass).GetCustomAttributes(typeof(System.Co ... 
- Navicat远程连接centos上mysql出错
			原因1:mysql账户是不允许远程连接 参考:centos安装mysql(for 小白) 打开远程连接 原因2:3306端口未开启 开启端口:iptables -I INPUT -p tcp --dp ... 
- c# String常用方法
- K8S漏洞报告 | 近期bug fix解读&1.13主要bug fix汇总
			K8s近期漏洞详解 Kubernetes仪表盘漏洞(CVE-2018-18264) 因为这一漏洞,用户可以“跳过”登录过程获得仪表盘所使用的自定义TLS证书.如果您已将Kubernetes仪表盘配置为 ... 
- springboot 学习小结
			springboot 默认自动扫描和配置根包下面的类.如果启动配置不在根包目录下,得把对应的类进行配置扫描生成对应的bean. 主要的扫描注解有: @SpringBootApplication //s ... 
- openpose-opencv 的coco数据多人体姿态估计
			介绍 opencv除了支持常用的物体检测模型和分类模型之外,还支持openpose模型,同样是线下训练和线上调用.这里不做特别多的介绍,先把源代码和数据放出来- 实验模型获取地址:https://gi ... 
- 使用fiddler进行接口测试
			我们来说说如何使用fiddler做接口测试? 测试准备,抓到相应的接口和入参或者找接口文档,我这里就用聚合数据里面的接口做样例, 接口如下: 测试接口:http://japi.juhe.cn/qqev ... 
- How Many Answers Are Wrong(带权并查集)
			题目 带权并查集的博客~ 题目: 多组输入数据.n,m.你不知道[1,n]内任意区间内值的和. m次询问,a b 是端点,都在n的范围以内 : v表示 [a,b]的区间内值的和.对每次询问,判断v是否 ... 
- 标准库类型之map
			使用map得包含map类所在的头文件#include <map> 定义一个map对象:map<string, int> mapTest;//用string作为索引,存储int对 ... 
