curl_multi实现并发

shusen 发布于2019-06-28 18:47 / 1196人阅读

摘要：普通请求创建多个资源并发创建多个资源创建批处理句柄增加句柄待优化点在执行而整个批处理句柄没有全部执行完毕时，系统会不停地执行函数。进行改动的方式是应用函数库中的函数，其函数原型如下阻塞直到批处理连接中有活动连接。

普通请求

curl_normal.php

use time:0.830 s

curl_multi并发

curl_multi.php

 $ch){      
    curl_multi_add_handle($mh, $ch); //2 增加句柄
}

$active = null; 

//待优化点：
//在$active > 0,执行curl_multi_exec($mh,$active)而整个批处理句柄没有全部执行完毕时，系统会不停地执行curl_multi_exec()函数。
do{
    echo "running ";
    curl_multi_exec($mh, $active); //3 执行批处理句柄
}while($active > 0); //4

foreach($chArr as $k => $ch){ 
    $result[$k]= curl_multi_getcontent($ch); //5 获取句柄的返回值
    curl_multi_remove_handle($mh, $ch);//6 将$mh中的句柄移除
}

curl_multi_close($mh); //7 关闭全部句柄 

// print_r($result);

$end_time = microtime(TRUE);
echo sprintf("use time:%.3f s", $end_time - $srart_time);

?>

use time:0.259 s

curl_multi并发优化：curl_multi_select

在上个示例里当$active > 0时,执行curl_multi_exec($mh,$active)而整个批处理句柄没有全部执行完毕时，系统会不停地执行curl_multi_exec()函数。这样可能会轻易导致CPU占用很高。

进行改动的方式是应用curl函数库中的curl_multi_select()函数，其函数原型如下：

int curl_multi_select ( resource $mh [, float $timeout = 1.0 ] )

阻塞直到cURL批处理连接中有活动连接。成功时返回描述符集合中描述符的数量。失败时，select失败时返回-1，否则返回超时(从底层的select系统调用)。
我用们curl_multi_select()函数来达到没有需要读取的程序就阻塞住的目的。

下面是优化部分的代码：

curl_multi_select.php

$active = null; 

do{
    echo "running ";
    $mrc = curl_multi_exec($mh, $active); //3 执行批处理句柄
}while ($mrc == CURLM_CALL_MULTI_PERFORM); //4

//本次循环第一次处理$mh批处理中的$ch句柄，并将$mh批处理的执行状态写入$active ,当状态值等于CURLM_CALL_MULTI_PERFORM时，表明数据还在写入或读取中，执行循环，当第一次$ch句柄的数据写入或读取成功后，状态值变为CURLM_OK，跳出本次循环，进入下面的大循环之中。

//$active 为true，即$mh批处理之中还有$ch句柄正待处理，$mrc==CURLM_OK,即上一次$ch句柄的读取或写入已经执行完毕。
while ($active && $mrc == CURLM_OK) { 
    if (curl_multi_select($mh) != -1) {//$mh批处理中还有可执行的$ch句柄，curl_multi_select($mh) != -1程序退出阻塞状态。
        do {
            $mrc = curl_multi_exec($mh, $active);//继续执行需要处理的$ch句柄。
        } while ($mrc == CURLM_CALL_MULTI_PERFORM);
    }
}

这样执行的好处是$mh批处理中的$ch句柄会在读取或写入数据结束后($mrc==CURLM_OK),进入curl_multi_select($mh)的阻塞阶段，而不会在整个$mh批处理执行时不停地执行curl_multi_exec,白白浪费CPU资源。

运行结果：
use time:0.325 s

耗时并没有多少改变，只是性能提高了。

curl_multi并发优化：rolling

上面的例子还存在优化的空间, 优化的方式时当某个URL请求完毕之后尽可能快的去处理它, 边处理边等待其他的URL返回, 而不是等待那个最慢的接口返回之后才开始处理等工作, 从而避免CPU的空闲和浪费。

仅贴出修改部分：

curl_multi_rolling.php

$active = null; 

do {
    while (($mrc = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM) ;

    if ($mrc != CURLM_OK) { break; }

    // a request was just completed -- find out which one
    while ($done = curl_multi_info_read($mh)) {

        // get the info and content returned on the request
        $info = curl_getinfo($done["handle"]);
        $error = curl_error($done["handle"]);
        $result[] = curl_multi_getcontent($done["handle"]);
        // $responses[$map[(string) $done["handle"]]] = compact("info", "error", "results");

        // remove the curl handle that just completed
        curl_multi_remove_handle($mh, $done["handle"]);
        curl_close($done["handle"]);
    }

    // Block for data in / output; error handling is done by curl_multi_exec
    if ($active > 0) {
        curl_multi_select($mh);
    }

} while ($active);

use time:0.267 s

参考

1、PHP模拟发送POST请求之五curl基本使用和多线程优化
http://www.cnblogs.com/zhenbi...
2、Rolling cURL: PHP并发最佳实践
https://www.oschina.net/quest...
3、curl_multi_select解决curl_multi网页假死问题
http://www.webkaka.com/tutori...

云服务器 GPU云服务器多进程实现并发服务器多线程实现并发服务器服务器如何实现高并发 curl_multi

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/28656.html

PHP使用curl_multi并发请求

摘要：根据获取请求对象这个比较简单可以看官方文档将三个待请求对象放入下载器中轮询一旦有一个请求完成，找出来，处理因为底层是，所以最大受限于从请求中获取信息内容错误把请求已经完成了得删除当没有数据的时候进行堵塞，把使用权交出来，避免上面死循环空跑数 class CurlMultiUtil { /** * 根据url,postData获取curl请求对象,这个比较简单,可以看官方...

Jacendfeng 2019-06-27 14:54 评论0 收藏0
PHP实现并发请求

摘要：不支持多线程模式和回调处理，因此内部脚本都是同步阻塞式的，如果你发起一个的请求，那么程序就会阻塞，直到请求返回结果，才会继续执行代码。参考资料手册手册预定义常量中实现多线程请求详解每次使用同时并发多少请求合适简书多线程及原理后端服务开发中经常会有并发请求的需求，比如你需要获取10家供应商的带宽数据（每个都提供不同的url），然后返回一个整合后的数据，你会怎么做呢？在PHP中，最直观...

zhangfaliang 2019-07-01 12:30 评论0 收藏0
php中curl_multi函数集的用法

摘要：今天我就来聊聊我关于函数集的使用心得，关于请求的问题。耗时这是不能容忍的。事实上内部实现就是用的事件循环。通过函数创建下载器。四复杂的运用这就是用法在上面的例子中。动态的从下载器中取出已经完成了的请求。函数实现的压测工具。一、引言这段时间比较忙，已经很久没有写博客了。今天我就来聊聊我关于curl_multi_*函数集的使用心得，关于http请求的问题。当我们用户php发起一个ht...

neu 2019-06-27 14:56 评论0 收藏0
三年前旧代码的重构、总结与反思

摘要：最近在维护一个三年前的旧代码，用的是框架。单元测试和语言并发控制实际上是个蛋疼的问题，夸张一点说，当时的并不能特别轻松地实现并发，甚至不能实现并发。语言的功能之一就是自带单元测试。用语言之前，我的习惯是不写单元测试。最近在维护一个三年前的旧代码，用的是laravel框架。从某些方面来讲，这个代码算是比较标准为了实现在规定的时间内完成相关功能，同时程序员水平不高、经过大量优化之后，变...

Shihira 2019-07-01 10:35 评论0 收藏0
PHP编程中的并发

摘要：编程中的并发周末去北京面了两个公司，认识了几位技术牛人，面试中聊了很多，感觉收获颇丰。本文大约总结了编程中的五种并发方式，最后的的实现纯属无聊，可以无视。生成的可以中断函数，并用向发送消息。 PHP编程中的并发周末去北京面了两个公司，认识了几位技术牛人，面试中聊了很多，感觉收获颇丰。认识到了自己的不足之处，也坚定了自己对计算机学习的信心。本文是对其中一道面试题的总结。面试中有一个问...

lewinlee 2019-06-27 11:46 评论0 收藏0