用JDBC操作MySQL——大量数据库操作时使用批处理提速
之前所有的操作由于数据量很小,所以没有进行批处理的优化,性能也没有出现明显的恶化,但是随着我用java处理数据量的大幅提高,频繁使用静态SQL语句的方法严重降低了处理效率,这里总结一下JDBC批处理的方法,来提高数据库的吞吐量。
首先,在SQL语句的形成上,我们可以使用StringBuilder合成SQL,也可以使用JDBC的set方法将参数带入。
JDBC的批处理方法已知的有2大类:基于Statement对象的和PreparedStatement对象的
1. Statement对象的批处理
优势与劣势:
Statement对象的批处理,通过调用addBatch方法将每个sql单独加入Batch,调用stmt.executeBatch通常用于处理批量的不同种类SQL语句。本例中给出了使用插入,修改,删除的批处理示例。
Statement对象发送的是未经过编译的SQL语句,执行效率较PreparedStatement慢
Connection conn=getConnection();
String sql1 = "insert into multisql (id,name,class) values (3,a great news,see a lot)";
String sql2 = "update multisql set id=3 , name=\'modifiedName\',class=\'mengNew\'";
String sql3 = "delete from multisql where id>0 and name=\'modifiedName\'";
try{
Statement stmt = conn.createStatement();
stmt.addBatch(sql1);
stmt.addBatch(sql2);
stmt.addBatch(sql3);
/** 执行批处理sql */
stmt.executeBatch();
/** 清除已执行的sql */
stmt.clearBatch();
}catch (Exception e){
System.out.println("批量处理SQL出错!");
e.printStackTrace();
}
2. PreparedStatement对象的批处理
PreparedStatement 类继承子Statement类,通常我们可以直接用Statement类的引用指向PreparedStatement 类的对象,不过这里对于多态,我还是不很理解,就不bb了。
优势与劣势:
PreparedStatement类的批处理方法想数据库发送的是编译后的SQL语句,相比于上面调用Statement类的方法,效率有所提高。
PreparedStatement类的批处理方法,用于发送一组同种的SQL操作语句,例如:一组都是insert,或一组都是update、delete,因此常用于批量插入、批量删除、批量更新字段值等操作。而上面的方法则可发送一组不同操作
由于是一组同种操作,因此常常使用JDBC中自带的set 方法将字段值等参数 “ 带入 ” 到SQL语句中
这里就没有catch语句了,其实焦点都不在catch上。。。
try{
Statement stmt = conn.prepareStatement("insert into multisql (id,name,class) values (?,?,?)");
PreparedStatement ps = conn.prepareStatement("insert into multisql (id,name,class) values (?,?,?)");
ps.setInt(1,par_int);
ps.setString(2,"TheName");
ps.setString(3,"phone");
ps.addBatch();
cnt++;
if(cnt%1000==0){
ps.executeBatch();
ps.clearBatch();/** 清理SQL指令,避免Out of Memory */
} /** 最终释放内存 */
ps.close();
用JDBC操作MySQL——大量数据库操作时使用批处理提速的更多相关文章
- SQL学习笔记二之MySQL的数据库操作
阅读目录 一 系统数据库 二 创建数据库 三 数据库相关操作 一 系统数据库 information_schema: 虚拟库,不占用磁盘空间,存储的是数据库启动后的一些参数,如用户表信息.列信息.权限 ...
- 自己封装的ASP.NET的MYSQL的数据库操作类
/** * 作者:牛腩 * 创建时间:2010年3月7日17时35分 * 类说明:对MYSQL数据库的操作类 */ using System; using System.Data; using MyS ...
- MySQL二:数据库操作
阅读目录 一 知识储备 二 初识SQL语言 三 系统数据库 四 创建数据库 五 数据库相关操作 一 知识储备 MySQL数据库基本操作知识储备 数据库服务器:一台计算机(对内存要求比较高) 数据库管理 ...
- 学习MySQL之数据库操作(一)
所有代码,均为自学时用到的测试与注释,知识细节或知识点不会面面俱到,亦不会有任何讲解,只做为自己学习复习用. ##数据库操作 ##创建数据库 myTest ,并将数据库字符集设为GBK CREATE ...
- Mysql之数据库操作
数据库操作: 链接数据库: mysql -uroot -p masql -uroot -pmysql 退出数据库: exit/quit/ctrl + d sql语句最后需要分号结尾: 查看时间: ...
- Python操作MySQL以及数据库索引
目录 python操作MySQL 安装 使用 SQL注入问题 MySQL的索引 为什么使用索引 索引的种类 主键索引 唯一索引 普通索引 索引优缺点 不会命中索引的情况 explain 索引覆盖 My ...
- Mysql 常用数据库操作
一.数据库操作: 1.查看数据库: >SHOW DATABASES; 2.创建数据库: >CREATE DATABASE db_name; //db_name为数据库名 3.使用数据库: ...
- mysql 对数据库操作的常用sql语句
1.查看创建某个数据库的 创建语句 show create database mysql 这个sql语句的意思是 展示创建名为mysql的数据库的 语句.执行之后如下图所示 仿造上面这个创建语句 创建 ...
- mysql跨数据库操作问题
跨数据库的操作,如果是命名符合mysql规范的直接database.table,如果不符合规范比如加了 - 等符号需要在数据库上面加`database`.table(不是'database'.tab ...
随机推荐
- ASP.NET页面之间传值Session(2)
想必这个肯定是大家使用中最常见的用法了,其操作与Application类似,作用于用户个人,所以,过量的存储会导致服务器内存资源的耗尽. 优点:1.使用简单,不仅能传递简单数据类型,还能传递对象. 2 ...
- BZOJ_day9
哇,一道巨大的水题害得我wa了无数次... 总结一下教训 大家一定记住(给我自己看的) 位运算 一定要加()!!! 重要的事情说三遍 位运算 一定要加()!!! 位运算 一定要加()!!! 位运算 ...
- 一个JavaScript反射使用的例子
反射机制指的是程序在运行时能够获取自身的信息.例如一个对象能够在运行时知道自己有哪些方法和属性.在JavaScript中有一个很方便的语法来实现反射,即for(…in…)语句,其语法如下: 1 for ...
- Linux(CentOS)用split命令分割文件
在 Linux 里,稍加不注意有可能会产生很大体积的日志文件,哪怕几百M,拖下来分析也很浪费时间,这个时候,如果可以把文件切割成 N 个小文件,拿最后一个文件就可以看到最近的日志了.有一些手段,比如用 ...
- 生日蛋糕 POJ - 1190
7月17日是Mr.W的生日,ACM-THU为此要制作一个体积为Nπ的M层生日蛋糕,每层都是一个圆柱体. 设从下往上数第i(1 <= i <= M)层蛋糕是半径为Ri, 高度为Hi的圆柱.当 ...
- rest与restful
知乎上面摘抄的,感觉不错,分享下: https://www.zhihu.com/question/28557115 1. REST描述的是在网络中client和server的一种交互形式:RES ...
- node搭建文件服务器
python可以在目录下python -m http.server 8080来启动一个静态文件服务器,使用node实现一个 运行node fileServer.js D:\lanFeature 即可将 ...
- 51nod 1040 最大公约数之和
给出一个n,求1-n这n个数,同n的最大公约数的和.比如:n = 6 1,2,3,4,5,6 同6的最大公约数分别为1,2,3,2,1,6,加在一起 = 15 Input 1个数N(N <= ...
- [转]树莓派gpio口控制
0.前言 树莓派现在越来越火,网上树莓派的资料也越来越多.树莓派源自英国,国外嵌入式开源领域具有良好的分享精神,树莓派各种集成库也层出不穷,下面推荐几个. [[开发语言]——python [[ ...
- 专业术语/Java专有名词
微服务 Web Service WebAPI(MicroSoft) RESTful RPC 微服务 服务拆分,利用轻量化机制(通常为HTTP源API)实现通信,复杂度可控,独立部署,技术选型灵活,容错 ...