PHP导出超大的CSV格式的Excel表方案

yedf 发布于2019-07-01 10:17 / 2849人阅读

摘要：场景和痛点说明我们工作场景都常会导出相关的数据，有时候需要大量的数据，，都有可能我们现有方案都是直接利用等类库来操作，的加载或是写入一次导出会遇到超时内存和时间限制问题，就算我们依旧不是最好的方案下面我们利用输出，把数据依次输出清空再输出的

场景和痛点 说明

我们工作场景都常会导出相关的excel数据，有时候需要大量的数据，10W，100W都有可能

我们现有方案都是直接利用phpexcel等类库来操作，phpexcel的load加载或是写入一次导出会遇到超时内存和时间限制问题，就算我们ini_set依旧不是最好的方案

下面我们利用php输出csv，把数据依次输出清空再输出的方式到输出终端（浏览器访问就是浏览器输出）

编写过程 说明

关键具体在代码里注释

代码

 $v) {
    $column_name[$i] = iconv("utf-8", "GBK", $v);
}

// 将标题名称通过fputcsv写到文件句柄
fputcsv($fp, $column_name);

$export_data = [];
for ($i = 0; $i < 10; $i++) {
    foreach (range(1, 100000) as $k => $v) {
        $export_data[] = [
            "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v
        ];
    }
    foreach ($export_data as $item) {
        $rows = array();
        foreach ($item as $export_obj) {
            $rows[] = iconv("utf-8", "GBK", $export_obj);
        }
        fputcsv($fp, $rows);
    }

    $export_data = []; //重新复制，释放掉旧数据
}
fclose($fp);

$endTime = microtime(true);
$memoryUse = memory_get_usage();

file_put_contents("11.log", "内存占用：" . convert($memoryUse) . "; 用时：" . ($endTime - $startTime) . PHP_EOL, 8);

exit(0);

结果 测试说明

我们模拟数据，输入了100万(10000 * 10)数据

日志记录内存使用率

# 文件大小：84.7 MB (88,889,540 字节)
# 这里的用时因为业务模拟，所以具体根据操作业务数据可能会更长，内存占用同理

内存占用：118.99 kb; 用时：74.375253915787

GPU云服务器云服务器 java导出表到excel ie11的excel导出 php导出csv封装 php导出csv文件

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/29002.html

php 导出 excel

关于 PHP 导出 excel csv 常用的有 PHPexcel ,本文整理了一些其他方案。高性能 Excel 扩展 sudo apt-get install -y zlib1g-dev git clone https://github.com/jmcnamara/libxlsxwriter.git cd libxlsxwriter make && sudo make install // ...

付永刚 2019-06-28 14:38 评论0 收藏0
PHP实时生成并下载超大数据量的EXCEL文件

摘要：而常用的包需要把所有数据拿到后才能生成，在面对生成超大数据量的文件时这显然是会造成内存溢出的，所以考虑使用让边写入输出流边让浏览器下载的形式来完成需求。最近接到一个需求，通过选择的时间段导出对应的用户访问日志到excel中，由于用户量较大，经常会有导出50万加数据的情况。而常用的PHPexcel包需要把所有数据拿到后才能生成excel，在面对生成超大数据量的excel文件时这显然...

Neilyo 2019-07-01 12:25 评论0 收藏0
php 数据导出

摘要：最近在做后台管理的项目，后台通常有数据导出到的需要，经过之前搜索通常推荐使用的是，我经常使用的是，对于也有很好用的对应。最近在做后台管理的项目，后台通常有数据导出到 excel 的需要，经过之前搜索通常推荐使用的是 php excel ，我经常使用的是 laravel ，对于 php excel 也有很好用的对应 package。开始使用是非常好用的，但是当需要导出的数据达到上万...

MartinHan 2019-06-28 18:25 评论0 收藏0
由导出CSV文件格式错误的小结

摘要：目前导出方式占用内存较大。比如有些状态字段，数据库存的就是数字或只占一个字节，完全换成中文状态的话，可能达个字节甚至更多。若是必须要用中文形式。中文乱码解决的话，其实也很简单，函数，将转为编码，在中打开就不会错了问题描述：目前、一般情况下，在web开发过程中，使用导入导出报表的情形很多。我们先说导出。项目数据量多导出行数较多，50万行左右，选择的是csv方式导出。针对以下应用场景，导...

Taonce 2019-07-01 12:49 评论0 收藏0