使用JDBC处理数据库大容量数据类型
在本文将介绍如何使用JDBC操作MySQL数据库对于大容量数据类型的读取。在之前的博客中已经介绍了如何使用JDBC来操作数据库对各种数据的增删改查,那么大容量数据类型的数据操作又为何不同呢。
原因在于之前对数据的操作,都可以存储在系统的内存中,但是如果我们对于大容量数据还按以前的方式操作的话,就要将数据先存储在内存中,这样极有可能造成系统内存溢出。所以对于JDBC操作大容量数据,就该使用“IO流”的方式。
注:本文只是探讨在数据库读取和存入大容量数据的技术兴趣,实际开发并不适用。因为对大容量数据的操作会占用数据库链接很大的时间,而数据库链接又是非常宝贵的,其次大容量数据也会对数据库存储容量造成极大的资源浪费。所以在一般开发中都以上传与下载方式在硬盘中存储一个大数据容量的文件。
在MySQL数据库中,对于大容量的“字符”数据类型使用的是TEXT系列类型,该系列具体类型为如下四种:
TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT
对于大容量的“字节”数据类型使用的是BLOB系列类型,该系列具体类型为如下四种:
TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB
那么在JDBC是如何操作大容量数据类型呢?和以前操作其他数据不同的步骤在哪里呢?其实大部分还是相同的,不同的地方在于:
⑴ 如果是使用JDBC将大容量数据存入MySQL数据库中,使用的是PreparedStatement对象,在替代占位符的部分,应该是使用
setCharacterStream( index , reader , length) 对于大容量字符类型
setBinaryStream( index, inputStream, length) 对于大容量字节类型
⑵ 如果是使用JDBC将大容量数据读取MySQL数据库中,使用的是结果集ResultSet对象,当判断ResultSet的next()方法发现结果集有内容时,对内容处理的方法过程中,使用
reader = resultSet.getCharacterStream(int columnIndex) 对于大容量字符类型
或者reader = resultSet.getCharacterStream(String columnLabel) 对于大容量字符类型
inputStream = resultSet.getBinaryStream(int columnIndex) 对于大容量字节类型
或者inputStream = resultSet.getBinaryStream(String columnLabel) 对于大容量字节类型
注:下面以一个例子分别来介绍如何使用JDBC操作大容量数据的类型,其中使用到了自定义的工具类JdbcUtils,该自定义类具体请看《JDBC操作数据库的学习(2)》中定义的方式。
例1:使用JDBC处理MySQL的大容量字符类型
假如我们有一个文本类型的文件,如txt、word等等,里面有大量的文字,现在使用JDBC将该文件中的内容存储到MySQL数据库中。这个文本文件假设为a.txt,在D盘目录下。
数据库和表的创建:
create database blobtext;
use blobtext;
create table text(
id int primary key,
words text
);
注:在表text中,只有一个id列和words列,其中words列的类型为TEXT。
创建Java工程
在该工程中导入配置文件,编写好工具类(JdbcUtils),在该工具类中主要功能有读取配置文件、注册数据库驱动、获取链接、释放资源,这两步请看《JDBC操作数据库的学习(2)》,此处略。
创建类,则添加大容量字符类型的方法demo代码为:
public void insert() throws Exception {
Connection conn = null;
PreparedStatement st = null;
ResultSet rs = null;
try{
conn = JdbcUtils.getConnection();
String sql = "insert into text(id,words) values(?,?)";
st = conn.prepareStatement(sql);
st.setInt(1, 1);
File file = new File("D:\\a.txt");
if(file.exists()) {
FileReader reader = new FileReader(file);
st.setCharacterStream(2, reader,file.length());
int num = st.executeUpdate();
if(num>0) {
System.out.println("插入成功");
}
reader.close();
}
}finally{
JdbcUtils.release(conn, st, rs);
}
}
通过该方法就可以将一个文本文件中的文字内容存储到MySQL数据库中。
读取大容量字符类型的方法demo代码为:
public void read() throws Exception {
Connection conn = null;
PreparedStatement st = null;
ResultSet rs = null;
try{
conn = JdbcUtils.getConnection();
String sql = "select words from text where id=1";
st = conn.prepareStatement(sql);
rs = st.executeQuery();
if(rs.next()) {
Reader reader = rs.getCharacterStream("words");
int length = 0;
char[] buffer = new char[1024];
FileWriter writer = new FileWriter("D:\\b.txt");
while((length=reader.read(buffer))>0) {
writer.write(buffer, 0, length);
}
writer.close();
reader.close();
}
}finally{
JdbcUtils.release(conn, st, rs);
}
}
这里将数据库中的一个大容量数据类型的数据读取到一个文本文件中(D盘目录下的b.txt),避免在程序中直接显示,否则将会导致程序内存溢出。
上面的例子是操作文本类型的大容量数据,而对于字节类型的大容量数据类型,例如图片,歌曲,视频等等,处理的过程也是类型的。
使用JDBC处理数据库大容量数据类型的更多相关文章
- 通过 JDBC 驱动程序使用大容量复制
Microsoft SQL Server 包含一个名为 bcp 的受欢迎的命令行实用工具,以便将较大文件快速大容量复制到 SQL Server 数据库的表或视图中. SQLServerBulkCopy ...
- 通过jdbc获取数据库中的表结构
通过jdbc获取数据库中的表结构 主键 各个表字段类型及应用生成实体类 1.JDBC中通过MetaData来获取具体的表的相关信息.可以查询数据库中的有哪些表,表有哪些字段,字段的属性等等.Met ...
- 用JDBC查询数据库
JDBC API的核心组件:1.DriverManager类:用语跟踪可用的JDBC驱动程序并产生数据库连接. 2.Connection接口:用于取得数据库信息.生成数据库语句,并管理数据库事务. 3 ...
- javaweb学习总结(三十三)——使用JDBC对数据库进行CRUD
一.statement对象介绍 Jdbc中的statement对象用于向数据库发送SQL语句,想完成对数据库的增删改查,只需要通过这个对象向数据库发送增删改查语句即可. Statement对象的exe ...
- 使用JDBC调用数据库的存储过程
本篇讲述如何使用JDBC来调用MySQL数据库中的存储过程.建议在学习如何使用JDBC调用存储过程前,请先了解如何在数据库中使用存储过程. 存储过程是指在数据库系统中,一组为了完成特定功能的SQL语句 ...
- javaweb(三十三)——使用JDBC对数据库进行CRUD
一.statement对象介绍 Jdbc中的statement对象用于向数据库发送SQL语句,想完成对数据库的增删改查,只需要通过这个对象向数据库发送增删改查语句即可. Statement对象的exe ...
- Java之JDBC操作数据库
DBC JDBC就是一套接口,真正执行的是jar包里得实现类,通过泛型对象来执行实现类里的方法. 步骤: ###1.导入驱动jar包到工程中 ###2.编写代码注册驱动,我们要让程序知道用的是哪个驱动 ...
- 二.使用JDBC对数据库CRUD
一.statement对象介绍 Jdbc中的statement对象用于向数据库发送SQL语句,想完成对数据库的增删改查,只需要通过这个对象向数据库发送增删改查语句即可. Statement对象的exe ...
- 十六:使用JDBC对数据库进行CRUD
一.statement对象介绍 Jdbc中的statement对象用于向数据库发送SQL语句,想完成对数据库的增删改查,只需要通过这个对象向数据库发送增删改查语句即可. Statement对象的exe ...
随机推荐
- XCode 6 出现 no identity found: Command /usr/bin/codesign failed with exit code 1 解决方法汇总
1, 解决办法,进入开发者账号重建一个 Provisioning Profiles(或配套证书) 文件,把证书添加正确就可以了 (应该是最有效的) 2, 将p12文件重新安装下 3, 在 iPhone ...
- Codeforces 479D - Long Jumps
479D - Long Jumps, 480B - Long Jumps It , or . If we can already measure both x and y, output . Then ...
- double 型变量的输入输出标准格式
c语言double型变量标准输入格式: scanf("%lf",num); 标准输出格式: printf("%f\n",num); 注:有过输出用%lf输出OJ ...
- UIScrollView方法 属性详解
--前言:UIScrollView使用非常广,本文研究UIScrollView各属性和方法,明白它们的意义.作用.在后面的一篇文章有整理UIScrollView一些常见用法以及一些效果的实现思路. - ...
- Webservice-WSDL详解(三)
怎样向别人介绍WS的功能呢?一般咱们会写接口文档,亦或口头告诉使用的人.这些方式都存在问题:其中一个我上篇中说过,客户端是无法直接使用服务端接口的:二是程序员在电脑前,想使用WS时,他们的工具(如Ec ...
- About Us - Tech in Asia - Tech in Asia
About Us - Tech in Asia - Tech in Asia About us Asia is big. Its place in the world, even bigger. Te ...
- eclipse java快捷模板 快捷键大全
建议没事研究研究自己吃饭的工具,俗话说工欲善其事必先利其器嘛. 首先,快捷键这种东西大家都会知道点,但是很少人重视javaEditorTemplate这块.先介绍下Template java编辑模板 ...
- mysql 参数optimizer_switch
mysql 5.1中开始引入optimizer_switch, 控制mysql优化器行为.他有一些结果集,通过on和off控制开启和关闭优化器行为.使用有效期全局和会话两个级别,在5.5中optimi ...
- Log4Net五步走
本文不是教你全面了解log4net,本文只是希望教会你按步就班,照糊芦画瓢般就会用log4net1,引入log4net.dll组件2,建立一个配置文件两种方法,一种是在Web.Config或App.C ...
- svn:怎样批量删除.svn文件
怎样批量删除.svn文件 使用SVN工具的时候会生成一些以“svn”作为后缀的文件,而且每个文件夹下都有,如果想删除这些.svn文件夹,通过手动删除的渠道是很繁琐的事情. 通过以下的简单步骤可以在右键 ...