php 用csv文件导出大量数据初方案

背景：接手的项目中支持导出一批数据，全数量在50W左右。在接手的时候看代码是直接一次查询MySQL获得数据，然后用header函数直接写入csv，用户开始导出则自动下载。但是，在全导出的时候，功能出现了BUG问题。

1.数据量大导致PHP处理脚本运行时间，超过默认限制。

2.数据量过大，导致内存溢出，流程中止。

初版解决方案：

1.通过函数set_time_limit(0);       取消执行时间限制(在导出的函数入口设置，这是合理的，导出的数据量过大了)

2.关于数据过大，内存溢出的解决办法，开始是想到了php动态变量(先由sql语句获得总记录数，然后每2W条切分，查询2w条数据存入一个变量)

1. $total_export_count = $db->getOne("select count(1) from ($sql) t2");
2. for ($i=0;$i<intval($total_export_count/20000)+1;$i++){
3. $export_data = "exportdata".$i;
4. $$export_data = $db->getAll($sql." limit ".strval($i*20000).",20000");
5. }

然后通过相应的代码取出变量的信息，echo到csv文件中，这种方式在本地测试的时候是通过的，但在服务器上依旧会内存溢出。

1. header ( "Content-type:application/vnd.ms-excel" );
2. header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "查询用户列表" ) . ".csv" );
3. $out = $column_name;
4. echo iconv ( "UTF-8", "GB18030", $out );
5. for ($i=0;$i<intval($total_export_count/20000)+1;$i++){
6. $dynamic_name = "exportdata".$i;
7. foreach ( $$dynamic_name as $key => $item ) {
8. echo iconv ( "UTF-8", "GB18030", "\n".implode(',',$item) );
9. }
10. // 将已经写到csv中的数据存储变量销毁，释放内存占用
11. unset($$dynamic_name);
12. }
13. exit ();

因为上面的方法在服务器上没有通过，所以只能将分割数据量的操作放到写文件的流程中，相比上面的思路这种会慢一些。

1. header ( "Content-type:application/vnd.ms-excel" );
2. header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "查询用户列表" ) . ".csv" );
3. $out = $column_name;
4. echo iconv ( "UTF-8", "GB18030", $out );
5. $pre_count = 20000;
6. for ($i=0;$i<intval($total_export_count/$pre_count)+1;$i++){
7. $export_data = $db->getAll($sql." limit ".strval($i*$pre_count).",{$pre_count}");
8. foreach ( $export_data as $key => $item ) {
9. echo iconv ( "UTF-8", "GB18030", "\n".implode(',',$item) );
10. }
11. // 将已经写到csv中的数据存储变量销毁，释放内存占用
12. unset($export_data);
13. }
14. exit ();

经测试之后是可行的，服务器上也可以导出，就是时间会慢一些，而且会是一直下载状态。

关于这个场景整理了一些资料：

1.csv文件的条数是好像没有限制的，可以一直写(网上的博文里面看的，没证实过)

2.excel 2010版本以上，是可以读取100多W行数据的(验证过，新建一个excel，ctrl+下箭头  到文件末尾可以看到行数)

理想的解决方案(没有具体实施，想的)

1.数据分割肯定是必须的步骤，防止内存溢出。

2.将分割后的数据写入到一个excel或者一个csv文件中，被分割了多少次，写多少个文件。这样可以防止达到文件行数的最大限制。

3.将2中写的文件进行压缩处理，压缩成一个压缩包，然后进行自动下载。

补充：

在上面的方案正式运行的时候发现导出的数据，总是比查询的总记录数要少1000多条，几次看数据后发现有些数据并没有换行，而是写到上一行去了。在有了这个觉悟后，重新看了遍之前转别人的帖子，发现还是用fputcsv()函数比较靠谱，传入一个数组，作为一行的数据，由该函数自己去写换行和控列。感觉有些时候还是不要偷懒的好啊，虽然自己写","完成列分割，写"\n"完成空格，貌似是可行的，但是对于一些数据，并不一定能控制的好。

修改后的导出代码：

1. header ( "Content-type:application/vnd.ms-excel" );
2. header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "query_user_info" ) . ".csv" );
3. // 打开PHP文件句柄，php://output 表示直接输出到浏览器
4. $fp = fopen('php://output', 'a');
5. // 将中文标题转换编码，否则乱码
6. foreach ($column_name as $i => $v) {
7. $column_name[$i] = iconv('utf-8', 'GB18030', $v);
8. }
9. // 将标题名称通过fputcsv写到文件句柄
10. fputcsv($fp, $column_name);
11. $pre_count = 10000;
12. for ($i=0;$i<intval($total_export_count/$pre_count)+1;$i++){
13. $export_data = $db->getAll($sql." limit ".strval($i*$pre_count).",{$pre_count}");
14. foreach ( $export_data as $item ) {
15. $rows = array();
16. foreach ( $item as $export_obj){
17. $rows[] = iconv('utf-8', 'GB18030', $export_obj);
18. }
19. fputcsv($fp, $rows);
20. }
21. // 将已经写到csv中的数据存储变量销毁，释放内存占用
22. unset($export_data);
23. ob_flush();
24. flush();
25. }
26. exit ();