摘要:环境适用场景需要处理一定数据集业务从读取一定数据的业务导出一次需要处理一定的业务操作更新删除等更多需要处理一定数据集的操作关键设置关键设置,如果不设置,依旧会从一次取出数据到里的游标属性不是必须的生成器生成器,迭代数据操作本生成器可
环境
mysql: 5.6.34
php: 5.6
nginx: php-fpm
需要处理一定数据集业务
从mysql读取一定数据的业务导出
一次需要处理一定的mysql业务操作更新删除等
更多需要处理一定数据集的操作
pdo 关键设置$dbh = new PDO($dsn, $user, $pass); # 关键设置,如果不设置,php依旧会从pdo一次取出数据到php $dbh->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); //perpare里的游标属性不是必须的 $sth = $dbh->prepare("SELECT * FROM `order`", array(PDO::ATTR_CURSOR => PDO::CURSOR_SCROLL)); $sth->execute();生成器
生成器,迭代数据操作 本生成器可省略尝试代码
class Test { public function test() { set_time_limit(0); $dbms="mysql"; //数据库类型 $host=C("DB_HOST"); //数据库主机名 $dbName=C("DB_NAME"); //使用的数据库 $user=C("DB_USER"); //数据库连接用户名 $pass=C("DB_PWD"); //对应的密码 $dsn="$dbms:host=$host;dbname=$dbName"; $dbh = new PDO($dsn, $user, $pass); $dbh->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $sth = $dbh->prepare("SELECT * FROM `order`"); $sth->execute(); $i = 0; $newLine = PHP_SAPI == "cli" ? " " : "输出
"; foreach ($this->cursor($sth) as $row) { // var_dump($row); echo $row["id"] . $newLine; $i++; } echo "消耗内存:" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine; echo "处理数据行数:" . $i . $newLine; echo "success"; } public function cursor($sth) { while($row = $sth->fetch(PDO::FETCH_ASSOC)) { yield $row; } } } $test = new Test(); $test->test();
1 ... //省略部分id 804288 消耗内存:"0.34918212890625M 处理数据行数:254062 success
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/28386.html
摘要:开发中经常遇到这样的场景产品汪我要在后台做一个功能,可以导出自定义时间范围的订单信息。结果,第二天一上班产品汪过来就是拍桌子,我想把去年一整年的订单都导出来,结果后台直接就挂了开发小哥一查,原来是内存溢出了,一年下来的的订单量足足有条。 开发中经常遇到这样的场景 产品汪:我要在后台做一个功能,可以导出自定义时间范围的订单信息。开发小哥二话不说,半天就把功能做完并上线了。结果,第二天一上...
阅读 3081·2021-11-18 10:02
阅读 2590·2021-10-13 09:47
阅读 2817·2021-09-22 15:07
阅读 766·2019-08-30 15:43
阅读 1769·2019-08-30 10:59
阅读 1630·2019-08-29 15:34
阅读 1644·2019-08-29 15:06
阅读 399·2019-08-29 13:28