public void exec(Connection conn){ try { conn.setAutoCommit(false); Long beginTime = System.currentTimeMillis(); //构造预处理statement PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)"); //1万次循环 for(int i=1;i<=100000;i+

© 版权声明:本文为博主原创文章,转载请注明出处 最近同事碰到大批量数据导入问题,因此也关注了一下.大批量数据导入主要存在两点问题:内存溢出和导入速率慢. 内存溢出:将文件中的数据全部取出放在集合中,当数据过多时就出现Java内存溢出,此时可通过调大JVM的最大可用内存(Xmx)解决, 但终究不是王道.    MySQL支持一条SQL语句插入多条记录的操作,并且效率比单条插入快的不是一点点:但是MySQL一次可接受的数据包大小 也是有限制的,当一次插入过多时也可能造成数据包内存溢出,此时可通过调

列的第四篇,上一篇在:http://blog.csdn.net/jiluoxingren/article/details/9474661 数据的提取,新增和修改 由于在写第三章的时候没有充分考虑这一章的内容,所以第三章的打开表的代码不能适应这一章的需求(新增和修改这两项操作),所以第三章的代码要加上一些内容,在第三章最后,紫色字体标记的就是新加上去的.我为我没有充分考虑教程的延续性而道歉. 这一章的内容跟SQL没关系了,目前为止SQL的任务已经完成,就是为我们打开一个记录集.当然以后你会见识到他

使用POI或JXLS导出大数据量(百万级)Excel报表常常面临两个问题: 1. 服务器内存溢出: 2. 一次从数据库查询出这么大数据,查询缓慢. 当然也可以分页查询出数据,分别生成多个Excel打包下载,但这种生成还是很缓慢. 大数据量导入请参考:Java实现大批量数据导入导出(100W以上) -(一)导入 那么如何解决呢? 我们可以借助XML格式利用模板替换,分页查询出数据从磁盘写入XML,最终会以Excel多sheet形式生成.亲测2400万行数据,生成Excel文件4.5G,总耗时1.5

最近业务方有一个需求,需要一次导入超过100万数据到系统数据库.可能大家首先会想,这么大的数据,干嘛通过程序去实现导入,为什么不直接通过SQL导入到数据库. 大数据量报表导出请参考:Java实现大批量数据导入导出(100W以上) -(二)导出 一.为什么一定要在代码实现 说说为什么不能通过SQL直接导入到数据库,而是通过程序实现: 1. 首先,这个导入功能开始提供页面导入,只是开始业务方保证的一次只有<3W的数据导入: 2. 其次,业务方导入的内容需要做校验,比如门店号,商品号等是否系统存在,需

参考资料:http://bbs.51cto.com/thread-1074293-1-1.html                 http://bbs.51cto.com/viewthread.php?tid=1074293&extra=&page=1 目前java框架中能够生成excel文件的的确不少,但是,能够生成大数据量的excel框架,我倒是没发现,一般数据量大了都会出现内存溢出,所以,生成大数据量的excel文件要返璞归真,用java的基础技术,IO流来实现.   如果想用IO

前面一篇文章介绍大数据量导出实现: Java实现大批量数据导入导出(100W以上) -(二)导出 这篇文章在Excel列较少时,按以上实际验证能很快实现生成.但如果列较多时用StringTemplate写入时会出现内存溢出.那么我的解决方案如下: 将数据列表分成多份,如果从数据库查询就是分页查询出多页数据进行分批在磁盘插入. 1. 创建模板 举例Excel截图如下(有27列): 模板分三部分(head,body及foot),分别如下: operation_data_head.st <?xml v

在平时的项目中,将数据导出到Excel的需求是很常见的,在此对一些常见的方法做以总结,并提供一种大数据量导出的实现. OLEDB   使用OLEDB可以很方便导出Excel,思路很简单,处理时将Excel当做Access处理,利用SQL建表.插入数据.不多说了,直接看代码  使用OLEDB导出Excel 生成的Excel是2003还是2007,就是通过连接字符串来控制的(代码中的connString ),同时传递的文件名也要一致(xls or xlsx),不然会出现运行不成功或者生成的文件打不开

  一.cookie介绍 1.cookie的本来面目 HTTP协议本身是无状态的.什么是无状态呢,即服务器无法判断用户身份.Cookie实际上是一小段的文本信息(key-value格式).客户端向服务器发起请求,如果服务器需要记录该用户状态,就使用response向客户端浏览器颁发一个Cookie.客户端浏览器会把Cookie保存起来.当浏览器再请求该网站时,浏览器把请求的网址连同该Cookie一同提交给服务器.服务器检查该Cookie,以此来辨认用户状态. 2.cookie本来运行机制 当用户

Java各版本新增特性, Since Java 8 作者:Grey 原文地址: Github 语雀 博客园 Java 8 Reactor of Java 这一章来自于<Spring in Action, 5th> 的笔记,因为这本书讲Reactor of Java讲的太好了,所以作为笔记摘抄了下来. Reactor of Java In an imperative programming model, the code would look something like this: Strin

Java SE 8 新增特性 作者:Grey 原文地址: Java SE 8 新增特性 源码 源仓库: Github:java_new_features 镜像仓库: GitCode:java_new_features Lambda 表达式 Java 8里面最大的更新莫过于支持Lambda表达式,Oracle官网给了一个很好的示例说明,见:Lambda Expressions,以下来自这个官方示例说明. 假设我们定义一个Person类,属性如下 public class Person { publ

Java SE 10 新增特性 作者:Grey 原文地址:Java SE 10 新增特性 源码 源仓库: Github:java_new_features 镜像仓库: GitCode:java_new_features 类型推断 无需定义变量类型,通过var关键字结合初始化的值,可以推测出变量类型 package git.snippets.jdk10; /** * 类型推断 * * @author <a href="mailto:410486047@qq.com">Grey

先前在 Windows 操作系统下,习惯用 TortoiseSVN 导出新增或修改过的文件([相当实用]如何让TortoiseSVN导出新增或修改过的文件 ),最近换成了 Mac Pro 笔记本电脑,一时没找到类似 TortoiseSVN 好用的客户端工具.好吧,利用PHP写个导出小工具: 1.工具文件名:svn.php,其内容如下: <?php /** * 导出指定版本之间的差异文件,如 100 和 200 之间的差异则导出 100(不包括) - 200(包括) 的所有修改 * [SVN命令行

Map java中的map 如何修改Map中的对应元素 Map以按键/数值对的形式存储数据,和数组非常相似,在数组中存在的索引,它们本身也是对象.         Map的接口         Map---实现Map         Map.Entry--Map的内部类,描述Map中的按键/数值对.         SortedMap---扩展Map,使按键保持升序排列             关于怎么使用,一般是选择Map的子类,而不直接用Map类.         下面以HashMap为例.

前言 Laravel默认是自带了CURD的功能,使用路由的Route::resource可以做到. 但真正的项目中,这往往不是我们所需要的.因为一个项目会有比较复杂的计算.验证等功能. 下面是对项目中的列表.新增.修改.删除写了一个简单的view层的模型例子 一.路由配置 在app\Http\routes.php加入如下: Route::group(["prefix" => "my2"], function() { Route::controller(&quo

问题:Java反射机制可以动态修改实例中final修饰的成员变量吗? 回答是分两种情况的. 1. 当final修饰的成员变量在定义的时候就初始化了值,那么java反射机制就已经不能动态修改它的值了. 2. 当final修饰的成员变量在定义的时候并没有初始化值的话,那么就还能通过java反射机制来动态修改它的值. 实验: 1. 当final修饰的成员变量在定义的时候就初始化了值 public Class Person { private final String name = "damon.hua

oracle创建触发器,把本地新增.修改数据过程同步到另一个服务器上去. 如果是本地,加数据库名即可.如果是远程服务器,不是一台机器,做一个db_link操作即可. ------------------ 终极新增用户增加触发器版,测试可以用 create or replace trigger tr_tguser_insert ---触发器名称 before insert on bjlt.sys_user ---在新增之前进行操作,也有after属性 for each row ---每改动一行就同

package cn.lyy.thread; import java.util.Random; /** * 基于单例模式的基础上,使用ThreadLocal为每一个进入的线程生成一个实例, * 用来对数据的访问修改而不影响到别的线程对同一个数据的修改 * @author Administrator * */ public class ThreadLocalTest { public static void main(String[] args) { for (int i = 0; i < 2;

上节在Grid展示时做了一个金额单位可以手工选择的功能,如果你要加入其他功能,也只要按照这个模式来操作就行了,比如说你想改变金额字段的颜色.小数位数.零值是否显示.货币符号.单位显示在标题栏或者跟在金额后面,凡是你能想到的需要手工设置的东西都可以加进来. 上面讲到的这些设置以后会加到程序里,在下载包里可以看到,就不做讲解了. 这一节来使模块可以具有新增.修改.删除的操作.由于还没有和后台服务相联,因此数据是保存在本地localStorage中的,浏览器关闭这些数据并不会丢失.首先我们让Grid具

需要了解的知识 1.触发器 2.sqlbulkcopy 我的用途 开发数据库同步的工具,需要大批量数据插入和数据更新. 方式 使用SqlBulkCopy类对数据进行数据批量复制,将需要同步数据的表新建一个结构相同的临时表.然后在临时表编写触发器用于对更新数据的表进行数据插入和更新: 触发器要点 1.触发器(trigger)是一种特殊的存储过程,当你对一个表进行Insert.Delete或Update时进行触发: 2.触发器触发时自动在系统创建inserted和deleted表,触发器执行完成后自

Oracle的PL/SQL中怎样循环查询的结果集,然后根据查询结果进行判断,是新增或修改操作 loop循环例子 for item in (select a,b,c from table_a where 条件) loop insert into table_b(a,b,c) values (item.a,item.b,item.c); end loop; 如何将查询结果集进行赋值 -- 获取结算单位是否存在(查询结果集赋值)--- select COUNT(*) into conNum from