基于EasyExcel实现的分页数据下载封装

功能概述

主要实现的功能：

1.分页查询，避免一次性查询全部数据加载到内存引起频繁FULL GC甚至OOM

2.当数据量超过单个工作簿最大行数（1048575）时，自动将数据写入新的工作簿

3.支持百万级数据量导出

具体实现

第一，定义数据实体父类和分页对象。

// 数据实体父类
public abstract class DataEntity {}

// 分页对象
@Data
public class Page<T> {
    /** 分页参数，第几页 */
    protected int pageNo;

    /** 分页参数，当前页数量 */
    protected int pageSize;

    /** 数据列表 */
    protected List<T> list;

    /** 数据总量 */
    protected long count;

    public Page(int pageNo, int pageSize) {
        this.pageNo = pageNo;
        this.pageSize = pageSize;
    }
}

第二，既然是分页查询导出，就需要一个实现分页查询的接口。

// 数据分页查询接口
public interface PageQuerier<T> {
    /**
     * 查询指定页数据，同时会查询总数
     *
     * @param page
     * @param entity
     * @return
     */
    Page<T> findPage(Page<T> page, DataEntity entity);
    /**
     * 查询指定页数据，只查询数据，不查询总数
     *
     * @param page
     * @param entity
     * @return
     */
    List<T> findList(Page<T> page, DataEntity entity);
}

第三，封装分页查询并导出数据的核心服务类。

// 分页导出Excel
public class ExcelExporter<T> {
    /** 实现分页查询 */
    private PageQuerier<T> pageQuerier;

    /**
     * @param pageQuerier 分页查询服务
     */
    public ExcelExporter(PageQuerier<T> pageQuerier) {
        this.pageQuerier = pageQuerier;
    }
    /**
     * 分页查询数据并写入到下载输出流
     *
     * @param response
     * @param fileName 文件名，如：测试.xlsx
     * @param header  表头映射类
     * @param entity 数据实体对象
     * @throws IOException
     */
    public void write(HttpServletResponse response, String fileName, Class header, DataEntity entity) throws IOException {
        if (header == null) {
            header = entity.getClass();
        }
        // 内容样式策略
        WriteCellStyle contentWriteCellStyle = new WriteCellStyle();
        // 垂直居中,水平居中
        contentWriteCellStyle.setVerticalAlignment(VerticalAlignment.CENTER);
        contentWriteCellStyle.setHorizontalAlignment(HorizontalAlignment.CENTER);
        contentWriteCellStyle.setBorderLeft(BorderStyle.THIN);
        contentWriteCellStyle.setBorderTop(BorderStyle.THIN);
        contentWriteCellStyle.setBorderRight(BorderStyle.THIN);
        contentWriteCellStyle.setBorderBottom(BorderStyle.THIN);
        HorizontalCellStyleStrategy contentStyleStrategy = new HorizontalCellStyleStrategy();
        contentStyleStrategy.setContentWriteCellStyleList(Arrays.asList(new WriteCellStyle[]{contentWriteCellStyle}));
        // 一定要对文件名做URL编码，否则会出现中文乱码
        String file = URLEncoder.encode(fileName, StandardCharsets.UTF_8.toString());
        response.reset();
        response.addHeader("Content-Disposition", "attachment;filename=" + file);
        response.addHeader("filename", file);
        response.setContentType("application/octet-stream; charset=UTF-8");
        ExcelWriter writer = new ExcelWriterBuilder()
                .autoCloseStream(true)
                .automaticMergeHead(false)
                .excelType(ExcelTypeEnum.XLSX)
                .file(response.getOutputStream())
                .head(header)
                .registerWriteHandler(contentStyleStrategy)
                .build();
        // xlsx文件单个工作簿上限是1048575行,这里如果超过104W需要分Sheet
        long sheetMax = 1048575;
        // 每一个工作簿可写入的数据量，需要把表头所占的行算上
        long sheetTotal = 1;
        // 工作簿编号
        int sheetNum = 1;
        // 分页数
        int pageNo = 1;
        // 每页查询数量
        int pageSize = 50000;
        WriteSheet writeSheet = EasyExcel.writerSheet("sheet"+sheetNum).head(header).build();
        // 先查询第一页，得到总数
        Page<T> page = this.pageQuerier.findPage(new Page(pageNo, pageSize), entity);
        writer.write(page.getList(), writeSheet);
        if (page.getCount() <= 0 || page.getCount() <= pageSize) {
            // 没有数据或只有一页数据
            writer.finish();
            return;
        }
        sheetTotal += page.getList().size();
        long total = page.getCount();
        long fetch = page.getList().size();
        for (;;) {
            // 只查询分页数据，不查询分页总数
            pageNo++;
            List<T> list = this.pageQuerier.findList(new Page(pageNo, pageSize), entity);
            fetch += list.size();
            sheetTotal += list.size();
            if (sheetTotal >= sheetMax) {
                sheetTotal = 1 + list.size();
                sheetNum++;
                writeSheet = EasyExcel.writerSheet("sheet"+sheetNum).head(header).build();
            }
            writer.write(list, writeSheet);
            if (fetch >= total) {
                writer.finish();
                break;
            }
        }
        writer.finish();
    }
}

完成上述核心接口和类的定义之后，就可以调用封装好的分页查询和导出服务了。

// 以分页查询数据库方式导出百万级数据
@RequestMapping("/downloadPage")
public String downloadByPage(HttpServletRequest request, HttpServletResponse response,
                                @RequestParam("name") String name,
                                @RequestParam("age") int age) throws IOException {
    SubjectExport param = SubjectExport.builder().name(name).age(age).build();
    String fileName = String.format("%s%s.xlsx", "数据导出", System.currentTimeMillis());
    new ExcelExporter<SubjectExport>(this.subjectPageQuerier).write(response, fileName, SubjectExport.class, param);
    return null;
}

完整示例代码详见：test-web-downloadtip，可以直接下载到本地运行。