关于数据导出超时的问题

摘要：实际工作中，我们经常导出报表的需求，当导出数据量过大的时候，经常会遇到超时和内存溢出的问题。解决方案一超时可用解决。获取数据，根据自己的业务逻辑，去数据库获取数据。

实际工作中，我们经常导出报表的需求，当导出数据量过大的时候，经常会遇到超时和内存溢出的问题。

解决方案一

超时可用: set_time_limit(0) 解决。

内存溢出可用: ini_set("memory_limit", "自定义内存")。

解决方案二

优化程序，利用数据库或文件来缓存中间结果。

解决方案三

利用Ajax分多次请求，写入文件，下载文件，效果如上图。

（方案三）为大家提供一个Demo

设计思路

我们将其拆成100次请求，请求成功，进度条前进1%。

每次请求都需要写入文件，然后对文件进行追加写入。

当文件写入完毕后，显示下载按钮 ，点击下载即可。

功能点

两种进度条样式。

Jquery Ajax。

数据写入CSV。

下载文件。

页面样式：Bootstrap。

代码如下

 $value) {
                $header_data[$key] = iconv("utf-8", "gbk", $value);
            }
            fputcsv($fp, $header_data);
        }
        $num = 0;
        //每隔$limit行，刷新一下输出buffer，不要太大，也不要太小
        $limit = 100000;
        //逐行取出数据，不浪费内存
        $count = count($data);
        if ($count > 0) {
            for ($i = 0; $i < $count; $i++) {
                $num++;
                //刷新一下输出buffer，防止由于数据过多造成问题
                if ($limit == $num) {
                    ob_flush();
                    flush();
                    $num = 0;
                }
                $row = $data[$i];
                foreach ($row as $key => $value) {
                    $row[$key] = iconv("utf-8", "gbk", $value);
                }
                fputcsv($fp, $row);
            }
        }
        fclose($fp);
    }

    /**
     * 下载文件
     * @param string $file_url 文件地址
     * @return string
     */
    function _download_file ($file_url = "")
    {
        if (!isset($file_url) || trim($file_url)=="") {
            die("File URL is empty.");
        }
        if (!file_exists($file_url)) {
            die("File does not exist.");
        }
        $file_name = "down_".date("YmdHis", time());
        $file_type = fopen($file_url,"r"); //打开文件
        //输入文件标签
        header("Content-type: application/octet-stream");
        header("Accept-Ranges: bytes");
        header("Accept-Length: ".filesize($file_url));
        header("Content-Disposition: attachment; filename=".$file_name);
        //输出文件内容
        echo fread($file_type, filesize($file_url));
        fclose($file_type);
    }

    //以后是逻辑代码，大家可以根据自己的需求进行编写。
        $path = "文件的绝对地址"; //path 是存放文件的绝对地址。
    if (isset($_POST["start"])) {
          //每一个多带带的请求，要保证文件名是唯一的，因为后面要继续进行追加。
              $file_name = "demo.csv";
        //获取数据，根据自己的业务逻辑，去数据库获取数据。
        $data        = [];
        $header_data = ["执行时间", "随机数"]; //首行数据，表头
        //模拟数据如下：
        for ($i=0; $i<=100; $i++) {
            $data[$i]["time"] = date("Y-m-d H:i:s", time());
            $data[$i]["num"]  = mt_rand(1000,9999);
        }
        $type = ($_POST["start"] != "0") ? 1 : 0 ;
        //开始将数据写入到文件中
        _export_csv($data, $header_data, $path.$file_name, $type);
        //假设第100次 写入完毕，那么就可以进行下载文件啦。
        //可以先获取需要导出的总量，然后根据实际情况进行拆分数据，每次获取成功，进度条会显示进度。
        if ($_POST["start"] == 100) {
            die(json_encode(["code" => "ok", "file_path" => "/index.php?op=down&f=".$file_name]));
        } else {
            die(json_encode(["code" => "no"]));
        }
    }

    //简单的导出逻辑，可根据实际情况，进行开发。
    if (($_GET["op"] == "down") && !empty($_GET["f"])) {
            _download_file($path.$_GET["f"]);
            exit;
    }
?>


    
      
        
        
        
        
        
        
        
        
        
        
    
    
        

            

                

                    导出CSV文件
                    下载文件
                
            

            

                

                    

                      

                      
                    
                
            

            

                

                    

                      

                        60%
                      
                    
                
            
        
    
    

温馨提示：
Demo 仅供参考，具体开发，请根据需求，严谨处理。

Thanks ~

AD：