JDBC基础学习(五)—批处理插入数据
一、批处理介绍
当需要成批插入或者更新记录时。可以采用Java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率。
JDBC的批量处理语句包括下面两个方法:
addBatch(String): 添加需要批量处理的SQL语句或是参数。
executeBatct(): 执行批量处理语句。
二、批处理的使用
1.使用事务没有批处理
@Test
public void testBatch(){ Connection con = null;
PreparedStatement ps = null; try{
// 保证连接是唯一的,传入相同的Connnection
con = JdbcTools.getConnection();
//开启事务
JdbcTools.beginTx(con);
String sql = "insert into person(name,city) values(?,?)";
ps = con.prepareStatement(sql); long begin = System.currentTimeMillis(); // 插入10000条数据
for(int i = 0;i < 100000;i++){
ps.setString(1,"A"+ i);
ps.setString(2,"BJ");
ps.executeUpdate();
}
//提交事务
JdbcTools.commitTx(con); long end = System.currentTimeMillis();
System.out.println("Time: " + (end - begin)); //14684
}catch(Exception e){
e.printStackTrace();
// 回滚事务
JdbcTools.rollBackTx(con);
}finally{
JdbcTools.releaseResource(con,null,null);
}
}
结果: Time: 15127
2.使用事务+批处理
@Test
public void testBatch2(){ Connection con = null;
PreparedStatement ps = null; try{
// 保证连接是唯一的,传入相同的Connnection
con = JdbcTools.getConnection();
//开启事务
JdbcTools.beginTx(con);
String sql = "insert into person(name,city) values(?,?)";
ps = con.prepareStatement(sql); long begin = System.currentTimeMillis(); // 插入10000条数据
for(int i = 0;i < 100000;i++){
ps.setString(1,"A"+ i);
ps.setString(2,"BJ"); //"积攒"SQL
ps.addBatch(); if((i + 1) % 300 == 0){
ps.executeBatch();
ps.clearBatch();
} }
if(100000 % 300 != 0){
ps.executeBatch();
ps.clearBatch();
} //提交事务
JdbcTools.commitTx(con); long end = System.currentTimeMillis();
System.out.println("Time: " + (end - begin)); //17010
}catch(Exception e){
e.printStackTrace();
// 回滚事务
JdbcTools.rollBackTx(con);
}finally{
JdbcTools.releaseResource(con,null,null);
}
}
结果: Time: 17201
看到这个结果,哎呦卧槽,你泥马不是坑爹么,这批处理逗我玩呢。经过百度、Google才得知如下的内容。
在MySQL JDBC连接字符串中还可以加入参数。
rewriteBatchedStatements=true。
mysql默认关闭了batch处理,通过此参数进行打开,这个参数可以重写向数据库提交的SQL语句。
useServerPrepStmts=false。
如果不开启(useServerPrepStmts=false),使用com.mysql.jdbc.PreparedStatement进行本地SQL拼装,最后送到db上就是已经替换了?后的最终SQL。在此稍加改进,连接字符串中加入下面语句。
connectStr += "?useServerPrepStmts=false&rewriteBatchedStatements=true";
再次运行结果: Time: 1933
JDBC基础学习(五)—批处理插入数据的更多相关文章
- Java JDBC批处理插入数据操作
在此笔记里,我们将看到我们如何可以使用像Statement和PreparedStatement JDBC API来批量在任何数据库中插入数据.此外,我们将努力探索一些场景,如在内存不足时正常运行,以及 ...
- Java JDBC批处理插入数据操作(转)
在此笔记里,我们将看到我们如何可以使用像Statement和PreparedStatement JDBC API来批量在任何数据库中插入数据.此外,我们将努力探索一些场景,如在内存不足时正常运行,以及 ...
- FreeSql (五)插入数据
var connstr = "Data Source=127.0.0.1;Port=3306;User ID=root;Password=root;" + "Initia ...
- Python基础学习五
Python基础学习五 迭代 for x in 变量: 其中变量可以是字符串.列表.字典.集合. 当迭代字典时,通过字典的内置函数value()可以迭代出值:通过字典的内置函数items()可以迭代出 ...
- JDBC基础学习(三)—处理BLOB类型数据
一.BLOB类型介绍 在MySQL中,BLOB是一个二进制的大型对象,可以存储大量数据的容器,它能容纳不同大小的数据. 在MySQL中有四种BLOB类型. 实际使 ...
- JDBC基础学习(一)—JDBC的增删改查
一.数据的持久化 持久化(persistence): 把数据保存到可掉电式存储设备中以供之后使用.大多数情况下,数据持久化意味着将内存中的数据保存到硬盘上加以固化,而持久化的实现过程大多通过各 ...
- JDBC基础学习(二)—PreparedStatement
一.PreparedStatement介绍 在SQL中包含特殊字符或SQL的关键字(如: ' or 1 or ')时Statement将出现不可预料的结果(出现异常或查询的结果不正确),可用P ...
- JDBC连接数据库:单线程、多线程、批处理插入数据的对比
一.单线程(单条循环)插入50000条记录: 每执行一次就要访问一次数据库 import java.sql.Connection; import java.sql.DriverManager; imp ...
- 【JDBC】学习路径6-SQL插入、修改、删除数据
第一章:插入使用.executeUpdate(); 返回的是受到影响的数据条数. public static boolean insert(String username,String passwor ...
随机推荐
- QTP11完美破解小笔记
相比Loadrunner的破解,QTP的应该会更简单,但是效果并没有Loadrunner的长久.QTP的破解只能维持30天,每30天需要再进行如下操作: 1.到C:\ProgramData目录下面去删 ...
- C# .NET更智能的数据库操作的封装完整版(重构)
前述: 第一次发表文章,不过是对数据库简单的封装,主要是阐述下思路.那么在上篇文章,在大家的指导下和提出意见,并自己对代码进行了思考.在这两天我重构了新的框架,我觉得我写的可以称得上框架,为什么?请大 ...
- 通过HttpClient 调用ASP.NET Web API
在前面两篇文章中我们介绍了ASP.NET Web API的基本知识和原理,并且通过简单的实例了解了它的基本(CRUD)操作.我们是通过JQuery和Ajax对Web API进行数据操作.这一篇我们来介 ...
- SqlService 索引原理
索引的概念 索引的用途:我们对数据查询及处理速度已成为衡量应用系统成败的标准,而采用索引来加快数据处理速度通常是最普遍采用的优化方法. 索引是什么:数据库中的索引类似于一本书的目录,在一本书中使用目录 ...
- 11g R2 RAC启动关闭步骤
1.关闭监听 /u01/app/11.2.0/grid/bin/srvctl stop listener -n redhat-rac01 /u01/app/11.2.0/grid/bin/srvctl ...
- Flume-ng源码解析之Sink组件
作为启动流程中第二个启动的组件,我们今天来看看Sink的细节 1 Sink Sink在agent中扮演的角色是消费者,将event输送到特定的位置 首先依然是看代码,由代码我们可以看出Sink是一个接 ...
- 从depth buffer中构建view-space position
观察透视投影矩阵: 对于x和y,矩阵变换只是一个缩放系数,那么逆变换就是缩放系数的倒数,所以 设Xndc Yndc为NDC空间中的XY坐标,Xview Yview Zview为view space中的 ...
- 算法模板——AC自动机
实现功能——输入N,M,提供一个共计N个单词的词典,然后在最后输入的M个字符串中进行多串匹配(关于AC自动机算法,此处不再赘述,详见:Aho-Corasick 多模式匹配算法.AC自动机详解.考虑到有 ...
- AVFoundation自定义拍照
0.AVCapture <AVFoundation/AVFoundation.h> 媒体采集需要的几个对象: 1.AVCaptureDevice: 代表抽象的硬件设备(如前置摄像头,后置 ...
- 富文本NSAttributeString
例子:http://www.jianshu.com/p/9ffcdc0003e0 下面研究下AttributedString究竟可以设置哪些属性,具体来说,有以下21个: // NSFontAtt ...