说明:我的电脑 2.0CPU 2G内存 能够十秒钟导出 20W 条数据 ,12.8M的excel内容压缩后2.68M

我们知道在POI导出Excel时,数据量大了,很容易导致内存溢出。由于Excel 一个sheet允许的最大行数是65536这时我们想到分sheet进行导出;但是这种情况也不能解决内存溢出的问题。毕竟数据还是一次性在内存中进行保存的。这时我们想是不是可以导出多个excel呢?下面我就尝试着按照导出多个excel

首先:我们要确定数据量有多大,然后确定一个excel导出多少条数据,这样就可以确定导出的Excel的数量,于是我们就可以循环的导出excel并保存在任意的临时目录中。去这样如果内存不够的话虚拟机就会去进行回收已经保存的excel在内存中的空间。

假设我们我们已经成功的生成了多个excel,这时我们怎么把这N个excel文档传到客户端呢?其实一个一个的传也未尝不可,但是考虑那样对用户来说体验不够好,再次多个文件在网络上传输也比较慢。我们可以考虑对生成的几个文件进行压缩,然后传到客户端。

总结一下第一、分批次生成excel第二、压缩后到客户端

下面我把我的一个小实例贴上供大家参考

第一、Person.java 普通javabean

  1. package bean;
  2. /**
  3. *
  4. * @author http://javaflex.iteye.com/
  5. *
  6. */
  7. public class Person {
  8. private Integer id;
  9. private String name;
  10. private String address;
  11. private String tel;
  12. private Double money=0.0;
  13. public Double getMoney() {
  14. return money;
  15. }
  16. public void setMoney(Double money) {
  17. this.money = money;
  18. }
  19. public Person(Integer id, String name, String address, String tel,Double money) {
  20. super();
  21. this.id = id;
  22. this.name = name;
  23. this.address = address;
  24. this.tel = tel;
  25. this.money=money;
  26. }
  27. public Integer getId() {
  28. return id;
  29. }
  30. public void setId(Integer id) {
  31. this.id = id;
  32. }
  33. public String getName() {
  34. return name;
  35. }
  36. public void setName(String name) {
  37. this.name = name;
  38. }
  39. public String getAddress() {
  40. return address;
  41. }
  42. public void setAddress(String address) {
  43. this.address = address;
  44. }
  45. public String getTel() {
  46. return tel;
  47. }
  48. public void setTel(String tel) {
  49. this.tel = tel;
  50. }
  51. }

第二、PersonService模拟业务逻辑循环生成100023个Person对象

  1. package service;
  2. import java.util.ArrayList;
  3. import java.util.List;
  4. import bean.Person;
  5. /**
  6. *
  7. * @author http://javaflex.iteye.com/
  8. *
  9. */
  10. public class PersonService {
  11. public static List getPerson(){
  12. List<Person> list =new ArrayList<Person>();
  13. for(int i=0;i<100320;i++){
  14. list.add(new Person(i,"zhangsan"+i,"北京"+i,"13214587632",123123.12+i));
  15. }
  16. return list;
  17. }
  18. }

第三、业务处理Servlet

  1. package servlet;
  2. import java.io.File;
  3. import java.io.FileInputStream;
  4. import java.io.FileOutputStream;
  5. import java.io.IOException;
  6. import java.io.OutputStream;
  7. import java.text.SimpleDateFormat;
  8. import java.util.ArrayList;
  9. import java.util.Date;
  10. import java.util.List;
  11. import javax.servlet.ServletException;
  12. import javax.servlet.http.HttpServlet;
  13. import javax.servlet.http.HttpServletRequest;
  14. import javax.servlet.http.HttpServletResponse;
  15. import org.apache.poi.hssf.usermodel.HSSFWorkbook;
  16. import org.apache.poi.hssf.util.CellRangeAddress;
  17. import org.apache.poi.ss.usermodel.Cell;
  18. import org.apache.poi.ss.usermodel.CellStyle;
  19. import org.apache.poi.ss.usermodel.Row;
  20. import org.apache.poi.ss.usermodel.Sheet;
  21. import org.apache.poi.ss.usermodel.Workbook;
  22. import bean.Person;
  23. import service.PersonService;
  24. /**
  25. *
  26. * @author http://javaflex.iteye.com/
  27. *
  28. */
  29. public class PersonServlet extends HttpServlet {
  30. private String fileName;
  31. public PersonServlet() {
  32. super();
  33. }
  34. public void destroy() {
  35. super.destroy(); // Just puts "destroy" string in log
  36. // Put your code here
  37. }
  38. public void doGet(HttpServletRequest request, HttpServletResponse response)
  39. throws ServletException, IOException {
  40. // 文件名获取
  41. Date date = new Date();
  42. SimpleDateFormat format = new SimpleDateFormat("yyyyMMddHHmmss");
  43. String f = "Person-" + format.format(date);
  44. this.fileName = f;
  45. setResponseHeader(response);
  46. OutputStream out = null;
  47. try {
  48. out = response.getOutputStream();
  49. List<Person> list = PersonService.getPerson();
  50. toExcel(list,request,10000,f,out);
  51. } catch (IOException e1) {
  52. e1.printStackTrace();
  53. } finally {
  54. try {
  55. out.flush();
  56. out.close();
  57. } catch (IOException e) {
  58. e.printStackTrace();
  59. }
  60. }
  61. }
  62. /** 设置响应头 */
  63. public void setResponseHeader(HttpServletResponse response) {
  64. try {
  65. response.setContentType("application/octet-stream;charset=UTF-8");
  66. response.setHeader("Content-Disposition", "attachment;filename="
  67. + java.net.URLEncoder.encode(this.fileName, "UTF-8")
  68. + ".zip");
  69. response.addHeader("Pargam", "no-cache");
  70. response.addHeader("Cache-Control", "no-cache");
  71. } catch (Exception ex) {
  72. ex.printStackTrace();
  73. }
  74. }
  75. public void doPost(HttpServletRequest request, HttpServletResponse response)
  76. throws ServletException, IOException {
  77. doGet(request, response);
  78. }
  79. public void init() throws ServletException {
  80. // Put your code here
  81. }
  82. public void toExcel(List<Person> list, HttpServletRequest request,
  83. int length, String f, OutputStream out) throws IOException {
  84. List<String> fileNames = new ArrayList();// 用于存放生成的文件名称s
  85. File zip = new File(request.getRealPath("/files") + "/" + f + ".zip");// 压缩文件
  86. // 生成excel
  87. for (int j = 0, n = list.size() / length + 1; j < n; j++) {
  88. Workbook book = new HSSFWorkbook();
  89. Sheet sheet = book.createSheet("person");
  90. double d = 0;// 用来统计
  91. String file = request.getRealPath("/files") + "/" + f + "-" + j
  92. + ".xls";
  93. fileNames.add(file);
  94. FileOutputStream o = null;
  95. try {
  96. o = new FileOutputStream(file);
  97. // sheet.addMergedRegion(new
  98. // CellRangeAddress(list.size()+1,0,list.size()+5,6));
  99. Row row = sheet.createRow(0);
  100. row.createCell(0).setCellValue("ID");
  101. row.createCell(1).setCellValue("NAME");
  102. row.createCell(2).setCellValue("ADDRESS");
  103. row.createCell(3).setCellValue("TEL");
  104. row.createCell(4).setCellValue("Money");
  105. int m = 1;
  106. for (int i = 1, min = (list.size() - j * length + 1) > (length + 1) ? (length + 1)
  107. : (list.size() - j * length + 1); i < min; i++) {
  108. m++;
  109. Person user = list.get(length * (j) + i - 1);
  110. Double dd = user.getMoney();
  111. if (dd == null) {
  112. dd = 0.0;
  113. }
  114. d += dd;
  115. row = sheet.createRow(i);
  116. row.createCell(0).setCellValue(user.getId());
  117. row.createCell(1).setCellValue(user.getName());
  118. row.createCell(2).setCellValue(user.getAddress());
  119. row.createCell(3).setCellValue(user.getTel());
  120. row.createCell(4).setCellValue(dd);
  121. }
  122. CellStyle cellStyle2 = book.createCellStyle();
  123. cellStyle2.setAlignment(CellStyle.ALIGN_CENTER);
  124. row = sheet.createRow(m);
  125. Cell cell0 = row.createCell(0);
  126. cell0.setCellValue("Total");
  127. cell0.setCellStyle(cellStyle2);
  128. Cell cell4 = row.createCell(4);
  129. cell4.setCellValue(d);
  130. cell4.setCellStyle(cellStyle2);
  131. sheet.addMergedRegion(new CellRangeAddress(m, m, 0, 3));
  132. } catch (Exception e) {
  133. e.printStackTrace();
  134. }
  135. try {
  136. book.write(o);
  137. } catch (Exception ex) {
  138. ex.printStackTrace();
  139. } finally {
  140. o.flush();
  141. o.close();
  142. }
  143. }
  144. File srcfile[] = new File[fileNames.size()];
  145. for (int i = 0, n = fileNames.size(); i < n; i++) {
  146. srcfile[i] = new File(fileNames.get(i));
  147. }
  148. util.FileZip.ZipFiles(srcfile, zip);
  149. FileInputStream inStream = new FileInputStream(zip);
  150. byte[] buf = new byte[4096];
  151. int readLength;
  152. while (((readLength = inStream.read(buf)) != -1)) {
  153. out.write(buf, 0, readLength);
  154. }
  155. inStream.close();
  156. }
  157. }

最后还有个工具类package util;

  1. import java.io.FileInputStream;
  2. import java.io.FileOutputStream;
  3. import java.io.IOException;
  4. import java.util.zip.ZipEntry;
  5. import java.util.zip.ZipOutputStream;
  6. /**
  7. *
  8. * @author http://javaflex.iteye.com/
  9. *
  10. */
  11. public class FileZip {
  12. /**
  13. *
  14. * @param srcfile 文件名数组
  15. * @param zipfile 压缩后文件
  16. */
  17. public static void ZipFiles(java.io.File[] srcfile, java.io.File zipfile) {
  18. byte[] buf = new byte[1024];
  19. try {
  20. ZipOutputStream out = new ZipOutputStream(new FileOutputStream(
  21. zipfile));
  22. for (int i = 0; i < srcfile.length; i++) {
  23. FileInputStream in = new FileInputStream(srcfile[i]);
  24. out.putNextEntry(new ZipEntry(srcfile[i].getName()));
  25. int len;
  26. while ((len = in.read(buf)) > 0) {
  27. out.write(buf, 0, len);
  28. }
  29. out.closeEntry();
  30. in.close();
  31. }
  32. out.close();
  33. } catch (IOException e) {
  34. e.printStackTrace();
  35. }
  36. }
  37. }

OK全部内容完成

12.8M的excel内容压缩后2.68M,给力吧

以后记得代码加注释

亲,记得给个评论哦

源码下载地址:http://dl.iteye.com/topics/download/87b5eb63-e4d2-345f-937c-802b88af8432

文章来自:http://javaflex.iteye.com/blog/1264127

POI导出大量数据的简单解决方案(附源码)-Java-POI导出大量数据,导出Excel文件,压缩ZIP(转载自iteye.com)的更多相关文章

  1. 3.NetDh框架之缓存操作类和二次开发模式简单设计(附源码和示例代码)

    前言 NetDh框架适用于C/S.B/S的服务端框架,可用于项目开发和学习.目前包含以下四个模块 1.数据库操作层封装Dapper,支持多种数据库类型.多库实例,简单强大: 此部分具体说明可参考博客: ...

  2. Python爬取某网站文档数据完整教程(附源码)

    基本开发环境 (https://jq.qq.com/?_wv=1027&k=NofUEYzs) Python 3.6 Pycharm 相关模块的使用 (https://jq.qq.com/?_ ...

  3. 高性能页面加载技术(流水线加载)BigPipe的C#简单实现(附源码)

    一,BigPipe简介 BigPipe是一个重新设计的基础动态网页服务体系.大体思路是,分解网页成叫做Pagelets的小块,然后通过Web服务器和浏览器建立管道并管理他们在不同阶段的运行.这是类似于 ...

  4. AJAX技术之网易滚动新闻的简单实现(附源码)--AJAX

    1.AJAX简介: AJAX = Asynchronous JavaScript and XML(异步的 JavaScript 和 XML). AJAX 不是新的编程语言,而是一种使用现有标准的新方法 ...

  5. 使用JDBC技术连接数据库(附源码)--JAVA的简单应用

    一.创建数据库(以mysql数据库为例) mysql数据库的下载安装与配置 -可参考博主之前的随笔:Windows平台下搭建MySQL数据库 创建wxb数据库-create database wxb; ...

  6. leaflet 结合 d3.js 实现 geojson 数据地形剖面分析(附源码下载)

    前言 leaflet 入门开发系列环境知识点了解: leaflet api文档介绍,详细介绍 leaflet 每个类的函数以及属性等等 leaflet 在线例子 leaflet 插件,leaflet ...

  7. PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二手急速响应捡垃圾平台_3(附源码持续更新)

    说明 文章首发于HURUWO的博客小站,本平台做同步备份发布. 如有浏览或访问异常图片加载失败或者相关疑问可前往原博客下评论浏览. 原文链接 PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二 ...

  8. 极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)

    原文:极限挑战-C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方 ...

  9. PHP简单的长文章分页教程 附源码

    PHP简单的长文章分页教程 附源码.本文将content.txt里的内容分割成3页,这样浏览起来用户体验很好. 根据分页参数ipage,获取对应文章内容 include('page.class.php ...

随机推荐

  1. 【转】Android 避免APP启动闪黑屏(Theme和Style)

    前几天Boss就反应说,机器每次启动程序都会闪一下黑屏,这个客户不接受.没办法,只能想想怎么解决,最后找到了下面的方法.闪黑屏的原因主要是我们启动Activity的时候,需要跑完onCreate和on ...

  2. or1200下Raw-OS学习(例子篇)

    没有图我说个~毛(J)线(B)~对吧??? 直接上一个以前做过的项目来说说怎么去从一个前后台的程序过度到利用操作系统去管理的你代码吧~以前想过直接用事件驱动的框架去编写代码的,无奈这方面的资料实在太少 ...

  3. C语言easy忽视的细节(第四部分)

    前言:本文的目的是记录C这些语言easy忽视的细节.我会每天花一点时间来阅读整理,坚持下去,今天是第一章.也许今天是下个月的第二,明年,今天是第几?--我坚信,,记性不如烂笔头.第四篇了.fight~ ...

  4. hdu1381 Crazy Search(hash map)

    题目意思: 给出一个字符串和字串的长度,求出该字符串的全部给定长度的字串的个数(不同样). 题目分析: 此题为简单的字符串哈hash map问题,能够直接调用STL里的map类. map<str ...

  5. Design Pattern Command 命令设计模式

    这种设计模式是使用不同类的包裹不同的命令,达到什么样的命令执行什么操作. 有可能进一步利用map您最喜欢的对接命令字. 正在运行的类实际上已经包含了操作的所有需求,例如: class SuperMak ...

  6. Flex里的特效

      Flex中提供了丰富的效果组件.因为效果是一种依据时间渐变的过程,因此全部效果都具有duration属性,用来设置播放时间(以毫秒为单位).也能够通过设置repeatCount属性和repeatD ...

  7. HDU 2112 HDU Today (Dijkstra算法)

    HDU Today Time Limit: 15000/5000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total ...

  8. css Tab选项卡2

    注意上述 红色方框   这个是锚点的变相  以及overflow:hiden结合, 利用  锚点对应 id  ,  也可以实现. 兼容ie6+  适合手机tab 简单   不需要脚本 其实还可以利用 ...

  9. [模拟] hdu 4452 Running Rabbits

    意甲冠军: 两个人在一个人(1,1),一个人(N,N) 要人人搬家每秒的速度v.而一个s代表移动s左转方向秒 特别值得注意的是假设壁,反弹.改变方向 例如,在(1,1),采取的一个步骤,以左(1,0) ...

  10. C和指针 (pointers on C)——第三章——数据

    第三章 数据 本章是非常重要的,在特定范围内使用.链接属性.存储类型.const.extern和statickeyword使用.几乎所有的公司是C++在采访的第一个问题. 总结: 具有external ...