场景和痛点

说明

我们工作场景都常会导出相关的excel数据,有时候需要大量的数据,10W,100W都有可能

我们现有方案都是直接利用phpexcel等类库来操作,phpexcel的load加载或是写入一次导出会遇到超时内存和时间限制问题,就算我们ini_set依旧不是最好的方案

下面我们利用php输出csv,把数据依次输出清空再输出的方式到输出终端(浏览器访问就是浏览器输出)

编写过程

说明

关键具体在代码里注释

代码


<?php
/**
* Created by PhpStorm.
* User: qkl
* Date: 2018/7/11
* Time: 13:28
*/
ini_set('display_errors', 1);
//error_reporting(E_ALL); function convert($size)
{
$unit = array('b', 'kb', 'mb', 'gb', 'tb', 'pb');
return @round($size / pow(1024, ($i = floor(log($size, 1024)))), 2) . ' ' . $unit[$i];
} header('Content-Type: application/vnd.ms-excel');
header('Content-Disposition: attachment;filename=xxxxxxxxx.csv');
header('Cache-Control: max-age=0'); set_time_limit(0); // 设置脚本最大执行时间 为0
//ini_set('memory_limit','200M'); // 临时设置最大内存占用 //关闭缓冲区
$flag = ob_end_clean();
if (!$flag) {
die("关闭缓冲区错误");
} $startTime = microtime(true); //$status = ob_get_status();
//file_put_contents("11.log", var_export($status, 1).PHP_EOL, 8); // 打开PHP文件句柄,php://output 表示直接输出到浏览器
$fp = fopen('php://output', 'a'); $column_name = ["XXX", "XXX", "XXX", "XXX", "XXX", "XXX", "XXX", "XXX", "XXX", "XXX"];
// 将中文标题转换编码,否则乱码
foreach ($column_name as $i => $v) {
$column_name[$i] = iconv('utf-8', 'GBK', $v);
} // 将标题名称通过fputcsv写到文件句柄
fputcsv($fp, $column_name); $export_data = [];
for ($i = 0; $i < 10; $i++) {
foreach (range(1, 100000) as $k => $v) {
$export_data[] = [
"XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v
];
}
foreach ($export_data as $item) {
$rows = array();
foreach ($item as $export_obj) {
$rows[] = iconv('utf-8', 'GBK', $export_obj);
}
fputcsv($fp, $rows);
} $export_data = []; //重新复制,释放掉旧数据
}
fclose($fp); $endTime = microtime(true);
$memoryUse = memory_get_usage(); file_put_contents("11.log", "内存占用:" . convert($memoryUse) . "; 用时:" . ($endTime - $startTime) . PHP_EOL, 8); exit(0);

结果

测试说明

我们模拟数据,输入了100万(10000 * 10)数据

日志记录内存使用率


# 文件大小:84.7 MB (88,889,540 字节)
# 这里的用时因为业务模拟,所以具体根据操作业务数据可能会更长,内存占用同理 内存占用:118.99 kb; 用时:74.375253915787

原文地址:https://segmentfault.com/a/1190000015601266

PHP导出超大的CSV格式的Excel表方案的更多相关文章

  1. C#导出.csv格式的excel表

    .cs文件直接贴代码: using System; using System.Collections.Generic; using System.Data; using System.IO; usin ...

  2. 将CSV格式或者EXCEL格式的文件导入到HIVE数据仓库中

    学习内容:数据导入,要求将CSV格式或者EXCEL格式的文件导入到HIVE数据仓库中: ①hive建表:test1 create table test1 (InvoiceNo String, Stoc ...

  3. Mac OS X将CSV格式转换为Excel文档格式,Excel转CSV中文乱码问题

    一:在Mac上假设你使用Excel打开windows导出的CSV格式文档.你会发现表格中全部的的内容都显示在A列. 那么,怎样恢复正常呢,你能够将CSV格式的文档导入到Excel文档中,这样就正常显示 ...

  4. hive 导出如数为csv格式

    hive导出csv格式的数据 命令如下: hive -e "select concat_ws(',',appKey,clickJson) adt.jsontest as st from &q ...

  5. ASP.NET 导出gridview中的数据到Excel表中,并对指定单元格换行操作

    1. 使用NPOI读取及生成excel表. (1)导出Click事件: 获取DataTable; 给文件加文件名: string xlsxName = "xxx_" + DateT ...

  6. mac中导出CSV格式在excel中乱码

    1 - 首先需要查看文档的编码格式: 安装enca:  brew install enca 使用命令 enca  file路径即可查到文件的编码格式 Universal transformation ...

  7. Mongodb 导出json 和csv 格式数据

    导出到json: $ mongoexport.exe  -d TestDB -c TestCollection -o  ./test.json 导出到csv: If you want to outpu ...

  8. php 导出excle的.csv格式的数据时乱码问题

    1.header('Content-Encoding: XXXX'); 有可能是编码问题:可以尝试UTF-8,GBK,GB2312,等编码格式 2.有可能是文件编码问题,虽然UTF-8不建议带BOM, ...

  9. 【MySQL】数据导出导入成CSV格式

    一.自动输出中文字符集 select * from db into outfile 'test.csv' CHARACTER SET gbk fields terminated by ',' opti ...

随机推荐

  1. 切换或者用户登录时 出现 显示 -bash-4.2$ 问题 的解决

    集群的普通用户在登录用户或者切换用户时,出现 -bash-4.2$ 的状态: [goldwind@TR-OS-DB 9.4]#su postgres bash-4.2$ 原因:在linux下通过use ...

  2. win7/8系统中php5.3和5.4、5.5不能加载php_curl.dll解决办法

    win7/8系统中php5.3和5.4.5.5不能加载php_curl.dll解决办法   作者:用户 来源:互联网 时间:2016-06-23 18:54:33 php变量注释系统模块 摘要: 本文 ...

  3. Cunning Gena CodeForces - 417D

    Cunning Gena CodeForces - 417D 题意 先将小伙伴按需要的监视器数量排序.然后ans[i][j]表示前i个小伙伴完成j集合内题目所需最少钱.那么按顺序枚举小伙伴,用ans[ ...

  4. ssrs 2016, mobile report error: The report may be misconfigured, the data may not be available, or the server version may be unsupported.

    使用多账户配置ssrs mobile report 权限后,使用客户端显示: 使用web 查阅,显示: 遇到这种情况,可能是由于,report引用了 数据集文件夹中的数据集,请记得把数据集文件夹上为该 ...

  5. Latex排版工具的使用(二) 分类: Latex 2014-06-14 23:01 389人阅读 评论(0) 收藏

    Latex可以支持中文排版,如何实现中文支持可以到网上查找教程. 下面编写一段对中文排版的Latex源文档: 新建文件second.tex: \documentclass{article} \usep ...

  6. Android偏好设置(4)设置默认值

    Setting Default Values The preferences you create probably define some important behaviors for your ...

  7. ural1437

    1437 记忆化 模拟倒水过程 #include <iostream> #include<cstdio> #include<cstring> #include< ...

  8. python版本2和3使用range()函数方法

    python 2:可以直接使用range(5) 输入的列表结果和预期的一样 python 3:使用range(5) 得到列表结果却是这个,和预期的不一致,其原因是节省空间,防止过大的列表产生 如果想要 ...

  9. Wamp搭建的服务器登录的时候出现Access denied for user 'hello'@'localhost' (using password: YES)

    想用自己电脑做一个服务器,然后就选择了Wamp,本来一切顺利,可是到登录的时候却出现了问题,出现了 Access denied for user 'hello'@'localhost' (using ...

  10. Objective-C Foundation 框架 Example :Looking for Files 查找文件

    Objective-C Foundation 框架    Example :Looking for Files  查找文件 NSFileManager. The NSFileManager class ...