目录


前言:

在实际开发中,程序需要把 大文本或二进制 数据保存到数据库中;

实际上,我们并不存储大的数据到数据库中,基本上都是存储资源地址进去 ;

但是数据库存储大数据的技术,我们还是要学习一下 ;


基本概念

大数据也被称为 LOB(large object)LOB又分为:clobblob

clob: 用于存储文本。

blob:用于存储二进制数据,例如:图像、电影、声音;

其中对于 Mysql 而言,只有 blob,没有 clobmysql 存储大文本采用的是Text

其中 Textblob 分别又分为:

- TinyText、text、MediumText、LongText
- TinyBlob、blob、MediumBlob、LongBlob (小、正常、中等、大) -----------(百度下各自保存的数据量大小;)

对于MysqlText类型

如果数据库的 x 列是大文本类型,要为其赋值 ;

  • 调用下面的语句为其赋值语句;
PreparedStatement.setCharacterStream(index、reader、length);

参数讲解:

  • index 是占位符的角标(从 1 开始计数) ;

  • reader 与文本关联的流;

    大数据的处理只能通过流。不能直接字符串赋值,比如有个大文本100M。
    
    要是直接用字符串那么一次性加载100M进内存,,疯了的操作
  • length长度必须设置,而且必须设置为int类型;

对Mysql中的Text类型,可调用如下 三种 方法获取:

    reader = resultSet.getCharacterStream(i);

    reader = resultSet.getClob(i).getCharacterStream();
// 不可取,文本数据很大的话,会占用巨大的内存
String s = resultSet.getString() ;

流地址的写法

其中 java 普通的 IO,在 se 的项目中,相对路径相对路径相对的是当前项目也就是地址直接从包名开始写 (这个包名需要从 src 开始写,与类加载器读取的时候,包名开始写不一样,类加载器读取文件,不需要加上 src );

而在 ee 的项目中,其相对路径则是相对 JDK 所在路径;用相对路径,根本没得写;

不要忘记了码表问题;fileReader 是默认码表是本地平台码表,不能改变了,如果想要更改码表读取,只能用 inputStreamReader


blob类型数据

赋值:

PreparedStatement setBinaryStream(i,iuputStream,length) ;  // Binary 二进制意思

取值(二种方法 2选1):

InputStream in = resultSet.getBinaryStream(i) ;

InputStream in = resultSet.getBlob(i).getBinaryStream() ;

备注

虽然学了,这个技术,但是我们一般不会用的,前言里面提到了,不在数据可里面存储过大的数据,否则访问数据库资源的时候,一个连接就会被占用太多时间,数据库连接是宝贵的,不能这样做。

我们一般都是在数据库中存个地址,保存资源的地址 ;

------------------- 写于 2018年6月12日18:22:56

-------------------- 作者: 淮左白衣

(十六)JDBC 处理大数据的更多相关文章

  1. JDBC之 大数据内容的传输

    JDBC之 大数据内容的传输 什么是大数据内容? 在数据库中,有一条一条的记录,记录中很多字段都是几个字符就够的,假如现在要把一部小说存入数据库,这本小说当然不是几个字符组成,而是由几万字组成,这本小 ...

  2. 使用Typescript重构axios(十六)——请求和响应数据配置化

    0. 系列文章 1.使用Typescript重构axios(一)--写在最前面 2.使用Typescript重构axios(二)--项目起手,跑通流程 3.使用Typescript重构axios(三) ...

  3. JDBC处理大数据

    1.处理大文本 package com.demo; import java.io.File; import java.io.FileNotFoundException; import java.io. ...

  4. Redis进阶实践之十六 Redis大批量增加数据

    一.介绍      有时,Redis实例需要在很短的时间内加载大量先前存在或用户生成的数据,以便尽可能快地创建数百万个键.这就是所谓的批量插入,本文档的目标是提供有关如何以尽可能快的速度向Redis提 ...

  5. Java基础学习笔记二十六 JDBC

    什么是JDBC JDBC(Java DataBase Connectivity)就是Java数据库连接,说白了就是用Java语言来操作数据库.原来我们操作数据库是在控制台使用SQL语句来操作数据库,J ...

  6. jQuery-1.9.1源码分析系列(十六)ajax——响应数据处理和api整理

    ajax在得到请求响应后主要会做两个处理:获取响应数据和使用类型转化器转化数据 a.获取响应数据 获取响应数据是调用ajaxHandleResponses函数来处理. ajaxHandleRespon ...

  7. 十六、React 渲染数据注意事项、以及react-router4.x中使用js跳转路由(登录成功自动跳转首页)

    一.React加载数据流程回顾 先看上一节的产品详情代码:https://blog.csdn.net/u010132177/article/details/103184176 [Pcontent.js ...

  8. Android IOS WebRTC 音视频开发总结(六二)-- 大数据解密国外实时通讯行业开发现状

    本文主要介绍国外实时通讯行业现状,文章最早发表在我们的微信公众号上,详见这里,欢迎关注微信公众号blackerteam,更多详见www.blackerteam.com 上篇文章我们采用百度搜索指数来分 ...

  9. JDBC 学习笔记(二)—— 大数据+存储过程+批处理+事务管理

    本文目录:       1.使用JDBC处理大数据        2.使用JDBC处理大文本        3.使用JDBC处理二进制数据        4.Oracle中大数据处理        5 ...

随机推荐

  1. 解决MySQL5.7在MAC下登录ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)问题

    问题描述 今天在MAC上安装完MYSQL后,MYSQL默认给分配了一个默认密码,但当自己在终端上使用默认密码登录的时候,总会提示一个授权失败的错误:ERROR 1045 (28000): Access ...

  2. python 识别鼠标左键点击

    #coding=utf- import pyHook import pythoncom # 监听到鼠标事件调用 def onMouseEvent(event): if(event.MessageNam ...

  3. [shell]如何测试shell脚本,保证正确

    如何用最快最有效的方式进行测试? 很多开发的习惯是,二话不说,写完/拿到,就跑一把,看看输入,输出,想要的操作是否完成,也就过了. 其实这是十分不严谨的,若是未经过QA,风险还是相当大的. 以下即sh ...

  4. SQL连接查询基础知识点

    什么是连接 连接(join)查询是基于多个表中的关联字段将数据行拼接到一起,可以同时返回多个表中的数据. 下面以两个表为例子,举例说明一下不同的连接. SELECT * FROM products i ...

  5. Elasticsearch的java客户端JEST的操作

    准备 把Elasticsearch安装好 安装百度上有很多资料. 导入必要的包 <parent> <groupId>org.springframework.boot</g ...

  6. JDK1.6历史版本的下载(關於TLSv1.2)Oracle的官方文檔

    [资源描述]:对于部分老项目 仍然采用的是JDK1.6 版本 但是打开官方 JDK 都是最新的 版本 想找 历史版本 不容易找到 [资源详情]:提供下载链接: http://www.oracle.co ...

  7. Maven Web项目出现org.eclipse.jdt.internal.compiler.classfmt.ClassFormatException错误

    1. 问题描述 初学Maven,新建了一个基于Web骨架的Web项目,jar 包也导好了,作用域也设置正确了,Tomcat也正常运行了,可是就是说编译错误. 2. 问题原因 虽然我配置了Tomcat ...

  8. flutter 中 List 和 Map 的用法

    list集合 在Dart中,数组是List对象,因此大多数人只是将它们称为List.以下是一个简单的Dart的List: 创建一个int类型的list List list = [10, 7, 23]; ...

  9. (六)爬虫之使用selenium

    selenium是使用javascript编写,主要用来进行web应用程序测试,在python爬虫中可以用来进行动态网页爬取,解决爬虫中的javascript渲染(执行js语句).总结记录下,以备后面 ...

  10. 解决阿里云轻量级服务器mysql无法用数据库操作软件连接

    第一步:去阿里云购买一台轻量应用服务器Lamp然后登录到控制台点击应用详情 点击后你可以看到一些服务器的数据 首先是访问服务器的首页地址,默认会放一个html文件在网站根目录下(即/home/www/ ...