资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/PHP超低内存遍历目录文件和读取超大文件

PHP超低内存遍历目录文件和读取超大文件

banana_pi / 590人阅读

摘要：这篇笔记主要解决这么几个问题如何使用超低内存快速遍历数以万计的目录文件如何使用超低内存快速读取几百甚至是级文件顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。

这不是一篇教程，这是一篇笔记，所以我不会很系统地论述原理和实现，只简单说明和举例。

前言

我写这篇笔记的原因是现在网络上关于 PHP 遍历目录文件和 PHP 读取文本文件的教程和示例代码都是极其低效的，低效就算了，有的甚至好意思说是高效，实在辣眼睛。

这篇笔记主要解决这么几个问题：

PHP 如何使用超低内存快速遍历数以万计的目录文件？

PHP 如何使用超低内存快速读取几百MB甚至是GB级文件？

顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。（因为需要 PHP 写这两个功能的情况真的很少，我记性不好，免得忘了又重走一遍弯路）

遍历目录文件

网上关于这个方法的实现大多示例代码是 glob 或者 opendir + readdir 组合，在目录文件不多的情况下是没问题的，但文件一多就有问题了（这里是指封装成函数统一返回一个数组的时候），过大的数组会要求使用超大内存，不仅导致速度慢，而且内存不足的时候直接就崩溃了。

这时候正确的实现方法是使用 yield 关键字返回，下面是我最近使用的代码：

valid()) {
                    yield $sub->current();
                    $sub->next();
                }
                if ($include_dirs)
                    yield $rfile;
            } else {
                yield $rfile;
            }
        }
        closedir($dh);
    }
}

// 使用
$glob = glob2foreach("/var/www");
while ($glob->valid()) {
    
    // 当前文件
    $filename = $glob->current();
    
    // 这个就是包括路径在内的完整文件名了
    // echo $filename;

    // 指向下一个，不能少
    $glob->next();
}

yield 返回的是生成器对象（不了解的可以先去了解一下 PHP 生成器），并没有立即生成数组，所以目录下文件再多也不会出现巨无霸数组的情况，内存消耗是低到可以忽略不计的几十 kb 级别，时间消耗也几乎只有循环消耗。

读取文本文件

读取文本文件的情况跟遍历目录文件其实类似，网上教程基本上都是使用 file_get_contents 读到内存里或者 fopen + feof + fgetc 组合即读即用，处理小文件的时候没问题，但是处理大文件就有内存不足等问题了，用 file_get_contents 去读几百MB的文件几乎就是自杀。

这个问题的正确处理方法同样和 yield 关键字有关，通过 yield 逐行处理，或者 SplFileObject 从指定位置读取。

逐行读取整个文件：

valid()) {
    
    // 当前行文本
    $line = $glob->current();
    
    // 逐行处理数据
    // $line

    // 指向下一个，不能少
    $glob->next();
}

通过 yield 逐行读取文件，具体使用多少内存取决于每一行的数据量有多大，如果是每行只有几百字节的日志文件，即使这个文件超过100M，占用内存也只是KB级别。

但很多时候我们并不需要一次性读完整个文件，比如当我们想分页读取一个1G大小的日志文件的时候，可能想第一页读取前面1000行，第二页读取第1000行到2000行，这时候就不能用上面的方法了，因为那方法虽然占用内存低，但是数以万计的循环是需要消耗时间的。

这时候，就改用 SplFileObject 处理，SplFileObject 可以从指定行数开始读取。下面例子是写入数组返回，可以根据自己业务决定要不要写入数组，我懒得改了。

seek($offset); 

    $i = 0;
    
    while (! $fp->eof()) {
        
        // 必须放在开头
        $i++;
        
        // 只读 $count 这么多行
        if ($i > $count)
            break;
        
        $line = $fp->current();
        $line = trim($line);

        $arr[] = $line;

        // 指向下一个，不能少
        $fp->next();
    }
    
    return $arr;
}

以上所说的都是文件巨大但是每一行数据量都很小的情况，有时候情况不是这样，有时候是一行数据也有上百MB，那这该怎么处理呢？

如果是这种情况，那就要看具体业务了，SplFileObject 是可以通过 fseek 定位到字符位置（注意，跟 seek 定位到行数不一样），然后通过 fread 读取指定长度的字符。

也就是说通过 fseek 和 fread 是可以实现分段读取一个超长字符串的，也就是可以实现超低内存处理，但是具体要怎么做还是得看具体业务要求允许你怎么做。

复制大文件

顺便说下 PHP 复制文件，复制小文件用 copy 函数是没问题的，复制大文件的话还是用数据流好，例子如下：


最后

我这只说结论，没有展示测试数据，可能难以服众，如果你持怀疑态度想求证，可以用 memory_get_peak_usage 和 microtime 去测一下代码的占用内存和运行时间。

补充：踩坑和修改大文件

这篇笔记是我昨晚睡不着无聊突然想起来就随手写的，今天起来又看了一下，发现有一个巨坑没提到，虽说不计划写成教程，但是这个巨坑必须提一下。


前面生成器对象循环代码块里最后都有一个 $glob->next(); 代码，意思是指向下一项，这个至关重要，因为如果没有了它，下一次循环获取到的还是这次的结果。


举个例子：


有个文本文件里面有三行文本，分别是 111111、222222、333333 ，当我们用以下代码读取的时候，while 会循环三次，每次 $line 分别对应 111111、222222、333333 。


valid()) {
    
    // 当前行文本
    $line = $glob->current();
    
    // 逐行处理数据
    // $line

    // 指向下一个，不能少
    $glob->next();
}



但是，如果没有 $glob->next(); 这一行，就会导致 $line 始终是读到第一行 111111 ，会导致死循环或者读取到的不是预期的数据。


看到这里你可能会觉得这是废话，不，不是，理论上不容易出现这个错误，但是在实际的编程中我们可能会使用 continue 跳到下次循环，如果你写着写着不记得了，在 $glob->next(); 前面使用 continue 跳到下次循环，就会导致下次循环的 $line 依然是这次的值，导致异常甚至死循环。


要解决这个问题，除了保持编码警惕性，也可以修改下 $glob->next(); 的位置。


valid()) {
    
    // 当前项
    $line = $glob->current();
    
    // 指向下一个，不能少
    $glob->next();
    
    // 注意，这时已经指向下一项
    // 再使用 $glob->current() 获取到的就不是 $line 的值了，而是下一项的值了

    // 在这后面你就可以放心使用 continue 了
    // 但是别忘了读取当前项只能通过 $line 了
    
    // 逐行处理数据
}



这个坑我是踩过的，无意间使用 continue 导致读取数据不对。其实出现这种错误导致死循环程序崩溃是好事，立即排查能排查出结果，最可怕的是只读错数据，让人一时半会儿察觉不到。


另外，补充一下修改大文件的要点。


要读大文件往往会涉及到修改它，如果是从中摘取数据或者大幅度修改，我们可以使用 fopen + fwrite 组合配合生成器对象逐行处理数据之后逐行写入，这样效率也是高的，尽量避免存到变量里再集中写入以免占用内存爆炸。


valid()) {
    
    // 当前行文本
    $line = $glob->current();

    // 逐行处理数据
    // 将处理过的写入新文件
    fwrite($handle, $line . "
");
    
    // 指向下一个，不能少
    $glob->next();
}
fclose($handle);



如果是修改大文件里的小细节，这个我还没做过，不过据我了解好像是通过 Stream Functions 的 filter 实现效率比较高。
云服务器 GPU云服务器 遍历文件目录 读取和保存文件 php复制文件遍历 php文件遍历类

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/31361.html

相关文章

  • 关于php的yield生成器

    摘要：今天分享一个特别好用的东西，里面的生成器才引入的功能，可以避免数组过大导致内存溢出的问题理解生成器关键字不是返回值，他的专业术语叫产出值，只是生成一个值，并不会立即生成所有结果集，所以内存始终是一条循环的值应用场景遍历文件目录读取超大文件日 今天分享一个特别好用的东西，php里面的生成器（PHP 5.5.0才引入的功能），可以避免数组过大导致内存溢出的问题 理解：生成器yield关键字...

    Harriet666 评论0 收藏0

  • 老旧话题：PHP读取超大文件

    摘要：然而，刚进来就拧螺丝的人如果能够对读取一个的超大文件有所见解的话，造火箭也是迟早的事儿。其中，用于告知当前文件读取指针所在位置，可以手动设定文件读取指针的位置。 作为一名常年深耕curd的PHPer，关注内存那是不可能的，反正apache或者fpm都帮我们做了，况且运行一次就销毁，根本就不存在什么内存问题。 然而偏偏就有些个不开眼的人把这些个东西当面试题，比如总有刁民用php读取一个1...

    goji 评论0 收藏0

  • PHP读取超大的excel文件数据的方案

    摘要：场景和痛点说明今天因为一个老同学找我，说自己公司的物流业务都是现在用处理，按月因为数据量大，一个差不多有百万数据，文件有接近，打开和搜索就相当的慢联想到场景要导入数据，可能数据量很大，这里利用常用的一些方法比如会常有时间和内存限制问题下面我 场景和痛点 说明 今天因为一个老同学找我，说自己公司的物流业务都是现在用excel处理，按月因为数据量大，一个excel差不多有百万数据，文件有接...

    dkzwm 评论0 收藏0

  • 如何高效地遍历 MongoDB 超大集合？

    摘要：执行测试代码两种不同遍历方法的代码分别位于和。参考如何使用对一个万的的表进行遍历操作关于专注于微信小程序微信小游戏支付宝小程序和线上应用实时监控。自从年双十一正式上线，累计处理了亿错误事件，付费客户有金山软件百姓网等众多品牌企业。 GitHub 仓库：Fundebug/loop-mongodb-big-collection showImg(https://segmentfault.c...

    王晗 评论0 收藏0

  • 如何高效地遍历 MongoDB 超大集合？

    摘要：执行测试代码两种不同遍历方法的代码分别位于和。参考如何使用对一个万的的表进行遍历操作关于专注于微信小程序微信小游戏支付宝小程序和线上应用实时监控。自从年双十一正式上线，累计处理了亿错误事件，付费客户有金山软件百姓网等众多品牌企业。 GitHub 仓库：Fundebug/loop-mongodb-big-collection showImg(https://segmentfault.c...

    Batkid 评论0 收藏0

发表评论

登陆后可评论

0条评论

banana_pi

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<