用JDBC操作MySQL——大量数据库操作时使用批处理提速
之前所有的操作由于数据量很小,所以没有进行批处理的优化,性能也没有出现明显的恶化,但是随着我用java处理数据量的大幅提高,频繁使用静态SQL语句的方法严重降低了处理效率,这里总结一下JDBC批处理的方法,来提高数据库的吞吐量。
首先,在SQL语句的形成上,我们可以使用StringBuilder合成SQL,也可以使用JDBC的set方法将参数带入。
JDBC的批处理方法已知的有2大类:基于Statement对象的和PreparedStatement对象的
1. Statement对象的批处理
优势与劣势:
Statement对象的批处理,通过调用addBatch方法将每个sql单独加入Batch,调用stmt.executeBatch通常用于处理批量的不同种类SQL语句。本例中给出了使用插入,修改,删除的批处理示例。
Statement对象发送的是未经过编译的SQL语句,执行效率较PreparedStatement慢
Connection conn=getConnection();
String sql1 = "insert into multisql (id,name,class) values (3,a great news,see a lot)";
String sql2 = "update multisql set id=3 , name=\'modifiedName\',class=\'mengNew\'";
String sql3 = "delete from multisql where id>0 and name=\'modifiedName\'";
try{
Statement stmt = conn.createStatement();
stmt.addBatch(sql1);
stmt.addBatch(sql2);
stmt.addBatch(sql3);
/** 执行批处理sql */
stmt.executeBatch();
/** 清除已执行的sql */
stmt.clearBatch();
}catch (Exception e){
System.out.println("批量处理SQL出错!");
e.printStackTrace();
}
2. PreparedStatement对象的批处理
PreparedStatement 类继承子Statement类,通常我们可以直接用Statement类的引用指向PreparedStatement 类的对象,不过这里对于多态,我还是不很理解,就不bb了。
优势与劣势:
PreparedStatement类的批处理方法想数据库发送的是编译后的SQL语句,相比于上面调用Statement类的方法,效率有所提高。
PreparedStatement类的批处理方法,用于发送一组同种的SQL操作语句,例如:一组都是insert,或一组都是update、delete,因此常用于批量插入、批量删除、批量更新字段值等操作。而上面的方法则可发送一组不同操作
由于是一组同种操作,因此常常使用JDBC中自带的set 方法将字段值等参数 “ 带入 ” 到SQL语句中
这里就没有catch语句了,其实焦点都不在catch上。。。
try{
Statement stmt = conn.prepareStatement("insert into multisql (id,name,class) values (?,?,?)");
PreparedStatement ps = conn.prepareStatement("insert into multisql (id,name,class) values (?,?,?)");
ps.setInt(1,par_int);
ps.setString(2,"TheName");
ps.setString(3,"phone");
ps.addBatch();
cnt++;
if(cnt%1000==0){
ps.executeBatch();
ps.clearBatch();/** 清理SQL指令,避免Out of Memory */
}
/** 最终释放内存 */
ps.close();
用JDBC操作MySQL——大量数据库操作时使用批处理提速的更多相关文章
- SQL学习笔记二之MySQL的数据库操作
阅读目录 一 系统数据库 二 创建数据库 三 数据库相关操作 一 系统数据库 information_schema: 虚拟库,不占用磁盘空间,存储的是数据库启动后的一些参数,如用户表信息.列信息.权限 ...
- 自己封装的ASP.NET的MYSQL的数据库操作类
/** * 作者:牛腩 * 创建时间:2010年3月7日17时35分 * 类说明:对MYSQL数据库的操作类 */ using System; using System.Data; using MyS ...
- MySQL二:数据库操作
阅读目录 一 知识储备 二 初识SQL语言 三 系统数据库 四 创建数据库 五 数据库相关操作 一 知识储备 MySQL数据库基本操作知识储备 数据库服务器:一台计算机(对内存要求比较高) 数据库管理 ...
- 学习MySQL之数据库操作(一)
所有代码,均为自学时用到的测试与注释,知识细节或知识点不会面面俱到,亦不会有任何讲解,只做为自己学习复习用. ##数据库操作 ##创建数据库 myTest ,并将数据库字符集设为GBK CREATE ...
- Mysql之数据库操作
数据库操作: 链接数据库: mysql -uroot -p masql -uroot -pmysql 退出数据库: exit/quit/ctrl + d sql语句最后需要分号结尾: 查看时间: ...
- Python操作MySQL以及数据库索引
目录 python操作MySQL 安装 使用 SQL注入问题 MySQL的索引 为什么使用索引 索引的种类 主键索引 唯一索引 普通索引 索引优缺点 不会命中索引的情况 explain 索引覆盖 My ...
- Mysql 常用数据库操作
一.数据库操作: 1.查看数据库: >SHOW DATABASES; 2.创建数据库: >CREATE DATABASE db_name; //db_name为数据库名 3.使用数据库: ...
- mysql 对数据库操作的常用sql语句
1.查看创建某个数据库的 创建语句 show create database mysql 这个sql语句的意思是 展示创建名为mysql的数据库的 语句.执行之后如下图所示 仿造上面这个创建语句 创建 ...
- mysql跨数据库操作问题
跨数据库的操作,如果是命名符合mysql规范的直接database.table,如果不符合规范比如加了 - 等符号需要在数据库上面加`database`.table(不是'database'.tab ...
随机推荐
- 【bzoj2705】[SDOI2012]Longge的问题 欧拉函数
题目描述 Longge的数学成绩非常好,并且他非常乐于挑战高难度的数学问题.现在问题来了:给定一个整数N,你需要求出∑gcd(i, N)(1<=i <=N). 输入 一个整数,为N. 输出 ...
- [NOIP2018 TG D1T3]赛道修建
题目大意:$NOIP2018\;TG\;D1T3$ 题解:题目要求最短的赛道的长度最大,可以想达到二分答案,接着就是一个显然的树形$DP$. 发现对于一个点,它子树中若有两条链接起来比要求的答案大,一 ...
- [Leetcode] Unique binary search trees ii 唯一二叉搜索树
Given n, generate all structurally unique BST's (binary search trees) that store values 1...n. For e ...
- table表头固定问题
table表头固定问题 原生的table表头在表格滚动时候无法固定,可以使用以下的方法进行模拟 1. 双table法 表头和表体各用一个table,这样会产生表格列对不齐的问题,可以使用colgrou ...
- 一个 React & Redux的目录树
|-----------------------------------------| | | | React & Redux | | | |------------------------- ...
- LowercaseRoutesMVC ASP.NET MVC routes to lowercase URLs
About this Project Tired of your MVC application generating mixed-case URLs like http://mysite.com/H ...
- POJ1087:A Plug for UNIX(最大流)
A Plug for UNIX 题目链接:https://vjudge.net/problem/POJ-1087 Description: You are in charge of setting u ...
- 取消eslint对指定代码进行代码检测
eslint配置了不允许使用alert,但是有个需求需要用到. //eslint-disable-next-line alert('测试'); 如上,即可跳过当前行代码检查了
- 51Nod 1081前缀和
#include <iostream> #include <stdio.h> using namespace std; ]; ]; int main() { int n; ci ...
- 图论:费用流-SPFA+EK
利用SPFA+EK算法解决费用流问题 例题不够裸,但是还是很有说服力的,这里以Codevs1227的方格取数2为例子来介绍费用流问题 这个题难点在建图上,我感觉以后还要把网络流建模想明白才能下手去做这 ...