多线程之批量插入

背景

昨天在测试mysql的两种批量更新时,由于需要入库大量测试数据,反复执行插入脚本,过程繁琐,档次很低,测试完后我就想着写个批量插入的小demo,然后又想写个多线程的批量插入的demo,然后就有了下面的东西了……

环境

spring-boot 1.5.6 集成 mysql druid mybits 还有一些无关紧要的东西

代码

线程类:
/**
 * @ClassName InsertDataThread
 * @Description <
插入数据类>
 * @Author zhaiyt
 * @Date 2018/8/29 17:04
 * @Version 1.0
 */
public class InsertDataThread extends Thread {     //日志
   
private final Logger logger = LoggerFactory.getLogger(InsertDataThread.class);     //数据访问层
   
private UserEntityMapper userEntityMapper;     //具体插入批次
   
private int batch;     //插入的数据
   
private List<UserEntity> list;     public InsertDataThread(UserEntityMapper userMpper, List<UserEntity> li, int batch) {
        this.userEntityMapper = userMpper;
        this.list = li;
        this.batch = batch;
    }     @Override
    public void run() {
        try {
            this.userEntityMapper.insertBatch(this.list);
            logger.info("" + this.batch + "批次插入成功");
        } catch (Exception e) {
            logger.error("" + this.batch + "批次插入失败");
        }     }
}

===============================================================================

service层的多线程批量插入方法:

/**
 * @param
list
 
* @return int
 * @Description <
批量插入>
 * @Author zhaiyt
 * @Date 9:51 2018/8/29
 * @Param [list]
 */
@Override
public int insertBatch(List<UserEntity> list) throws Exception {
    PageHelper.offsetPage(0, 500000);
    long start = System.currentTimeMillis();
    List<UserEntity> listUser = userEntityMapper.selectAllUser();
    int betch = 0;
        if (CollectionUtils.isEmpty(listUser)) {
        logger.error("表中无数据,需要改造测试");
        return 0;
    }
    //根据数据量判断是否使用多线程 选择开启线程数
   
if (listUser.size() > 1000000) {
        betch = 10;
    } else if (listUser.size() > 100000) {
        betch = 5;
    } else if (listUser.size() > 10000) {
        betch = 3;
    } else {
        //不走多线程
       
long end = System.currentTimeMillis();
        logger.error("查询耗时:" + (end - start));
        start = System.currentTimeMillis();
        int count = userEntityMapper.insertBatch(listUser);
        end = System.currentTimeMillis();
        logger.error("插入耗时:" + (end - start));
        return count;
    }     //计数器
   
int size = 0;
    //创建线程池
   
ExecutorService fixedThreadPool = Executors.newFixedThreadPool(betch);     for (int i = 0; i < (Math.ceil(listUser.size() / 5000)); i++) {
        int startLen = i * 5000;
        int endLen = ((i + 1) * 5000 > listUser.size() ? listUser.size() - 1 : (i + 1) * 5000);
        // 该线程处理
        List<UserEntity> threadList = listUser.subList(startLen, endLen);
        size = size + threadList.size();
        fixedThreadPool.execute(new InsertDataThread(userEntityMapper, threadList, i));
    }
    System.err.println("插入数据总条数:" + size);
    long end = System.currentTimeMillis();
    logger.error("查询耗时:" + (end - start));
    return size;
}

项目路径:https://git.lug.ustc.edu.cn/zhaiyt/threadInsertDemo

多线程之批量插入小demo的更多相关文章

  1. Java多线程同步问题:一个小Demo完全搞懂

    版权声明:本文出自汪磊的博客,转载请务必注明出处. Java线程系列文章只是自己知识的总结梳理,都是最基础的玩意,已经掌握熟练的可以绕过. 一.一个简单的Demo引发的血案 关于线程同步问题我们从一个 ...

  2. c#批量插入数据库Demo

    using System; using System.Collections.Generic; using System.Configuration; using System.Data; using ...

  3. java线程间通信:一个小Demo完全搞懂

    版权声明:本文出自汪磊的博客,转载请务必注明出处. Java线程系列文章只是自己知识的总结梳理,都是最基础的玩意,已经掌握熟练的可以绕过. 一.从一个小Demo说起 上篇我们聊到了Java多线程的同步 ...

  4. C#中使用SqlBulkCopy的批量插入和OracleBulkCopy的批量插入

    1.首先我们做一下准备工作,在sql server和oracle分别建立一个Student表 oracle中 --创建Student表 -- create table Student( stuId n ...

  5. Visual Studio 2017 - Windows应用程序打包成exe文件(2)- Advanced Installer 关于Newtonsoft.Json,LINQ to JSON的一个小demo mysql循环插入数据、生成随机数及CONCAT函数 .NET记录-获取外网IP以及判断该IP是属于网通还是电信 Guid的生成和数据修整(去除空格和小写字符)

    Visual Studio 2017 - Windows应用程序打包成exe文件(2)- Advanced Installer   Advanced Installer :Free for 30 da ...

  6. 多线程查询数据,将结果存入到redis中,最后批量从redis中取数据批量插入数据库中【我】

    多线程查询数据,将结果存入到redis中,最后批量从redis中取数据批量插入数据库中 package com.xxx.xx.reve.service; import java.util.ArrayL ...

  7. Mybatis 批量插入和更新小例

    SpringBoot配置Mybatis前文有博文,数据库mysql: package com.example.demo.biz.dto; public class User { private int ...

  8. Python多线程Threading爬取图片,保存本地,openpyxl批量插入图片到Excel表中

    之前用过openpyxl库保存数据到Excel文件写入不了,换用xlsxwriter 批量插入图片到Excel表中 1 import os 2 import requests 3 import re ...

  9. [小干货]SqlBulkCopy简单封装,让批量插入更方便

    关于 SqlServer 批量插入的方式,前段时间也有大神给出了好几种批量插入的方式及对比测试(http://www.cnblogs.com/jiekzou/p/6145550.html),估计大家也 ...

随机推荐

  1. JSONArray数据转换成java List

    1.后台接收json数组转成封装实体类的List: package no.integrasco.ingentia.news.qaedition; public class Person { priva ...

  2. oracle显示一个月的所有天数

    效率高: ) s_date from dual connect 效率低: select to_date() s_date from all_tables where rownum <= ( fr ...

  3. Linux:“awk”命令的妙用

    awk是一个强大的文本分析工具,简单来说awk就是把文件逐行读入,(空格,制表符)为默认分隔符将每行切片,切开的部分再进行各种分析处理. 0.基本用法 awk是一个强大的文本分析工具,简单来说awk就 ...

  4. ArrayList代码学习

    ArrayList (数组链表)使用Object数组作为存储. /** * The array buffer into which the elements of the ArrayList are ...

  5. BABLE 原理

    1.babel转换原理 2.主要过程 (1)babylon进行解析得到AST (2)babel-traverse插件对AST树进行遍历转译得到新的AST树 (3)babel-generator将AST ...

  6. [转]你可能不知道的五个强大HTML5 API

    一.全屏 // 找到适合浏览器的全屏方法 function launchFullScreen(element) { if(element.requestFullScreen) { element.re ...

  7. SignalR代理对象异常:Uncaught TypeError: Cannot read property 'client' of undefined 推出的结论 SignalR 简单示例 通过三个DEMO学会SignalR的三种实现方式 SignalR推送框架两个项目永久连接通讯使用 SignalR 集线器简单实例2 用SignalR创建实时永久长连接异步网络应用程序

    SignalR代理对象异常:Uncaught TypeError: Cannot read property 'client' of undefined 推出的结论   异常汇总:http://www ...

  8. puppeteer:官方出品的chrome浏览器自动化测试工具

    puppeteer发布应该有一段时间了,这两天正好基于该工具写了一些自动化解决方案,在这里抛砖引给大家介绍一下. 官方描述: Puppeteer is a Node library which pro ...

  9. 快速搭建python程序

    公司对外提供了http接口服务,涉及到了des加密,有客户用Python开发,但搞不定加密,客户的问题就是大问题,虽然以前没接触过Python,也只能硬着头皮上,不停的baidu各种资料,从环境搭建. ...

  10. 【Spark深入学习 -14】Spark应用经验与程序调优

    ----本节内容------- 1.遗留问题解答 2.Spark调优初体验 2.1 利用WebUI分析程序瓶颈 2.2 设置合适的资源 2.3 调整任务的并发度 2.4 修改存储格式 3.Spark调 ...