摘要:面试中有一个问题没有很好的回答出来,题目为并发个请求,只要其中一个请求有结果,就返回,并中断其他两个。后来说了还说了两种实现,一个是用另一个是用实现并发。所以总结了这篇文章,来讲讲中的并发。生成的可以中断函数,并用向发送消息。
面试中有一个问题没有很好的回答出来,题目为:并发3个http请求,只要其中一个请求有结果,就返回,并中断其他两个。
当时考虑的内容有些偏离题目原意, 一直在考虑如何中断http请求,大概是在 client->recv() 之前去判断结果是否已经产生,所以回答的是用 socket 去发送一个 http 请求,把 socket 加入 libevent 循环监听,在callback中判断是否已经得到结果,如果已经得到结果,就直接 return。
后来自己越说越觉得不对,既然已经recv到结果,就不能算是中断http请求。何况自己从来没用过libevent。后来说了还说了两种实现,一个是用 curl_multi_init, 另一个是用golang实现并发。
golang的版本当时忘了close的用法,结果并不太符合题意。
这题没答上来,考官也没为难我。但是心里一直在考虑,直到面试完走到楼下有点明白什么意思了,可能考的是并发,进程线程的应用。所以总结了这篇文章,来讲讲PHP中的并发。本文大约总结了PHP编程中的五种并发方式,最后的Golang的实现纯属无聊,可以无视。如果有空,会再补充一个libevent的版本。
curl_multi_init
文档中说的是 Allows the processing of multiple cURL handles asynchronously. 确实是异步。这里需要理解的是select这个方法,文档中是这么解释的Blocks until there is activity on any of the curl_multi connections.。了解一下常见的异步模型就应该能理解,select, epoll,都很有名,这里引用一篇非常好的文章,有兴趣看下解释吧。
// build the individual requests as above, but do not execute them
$ch_1 = curl_init("http://www.baidu.com/");
$ch_2 = curl_init("http://www.baidu.com/");
curl_setopt($ch_1, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch_2, CURLOPT_RETURNTRANSFER, true);
// build the multi-curl handle, adding both $ch
$mh = curl_multi_init();
curl_multi_add_handle($mh, $ch_1);
curl_multi_add_handle($mh, $ch_2);
// execute all queries simultaneously, and continue when all are complete
$running = null;
do {
curl_multi_exec($mh, $running);
$ch = curl_multi_select($mh);
if($ch !== 0){
$info = curl_multi_info_read($mh); if($info){ var_dump($info); $response_1 = curl_multi_getcontent($info["handle"]); echo "$response_1 "; break; }
}
} while ($running > 0);
//close the handles
curl_multi_remove_handle($mh, $ch_1);
curl_multi_remove_handle($mh, $ch_2);
curl_multi_close($mh);
这里我设置的是,select得到结果,就退出循环,并且删除 curl resource, 从而达到取消http请求的目的。
swoole_client
swoole_client提供了异步模式,我竟然把这个忘了。这里的sleep方法需要swoole版本大于等于1.7.21, 我还没升到这个版本,所以直接exit也可以。
$client = new swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_ASYNC);
//设置事件回调函数
$client->on("connect", function($cli) {
$req = "GET / HTTP/1.1 Host: www.baidu.com Connection: keep-alive Cache-Control: no-cache Pragma: no-cache "; for ($i=0; $i < 3; $i++) { $cli->send($req); }
});
$client->on("receive", function($cli, $data){
echo "Received: ".$data." "; exit(0); $cli->sleep(); // swoole >= 1.7.21
});
$client->on("error", function($cli){
echo "Connect failed ";
});
$client->on("close", function($cli){
echo "Connection close ";
});
//发起网络连接
$client->connect("183.207.95.145", 80, 1);
process
哎,竟然忘了 swoole_process, 这里就不用 pcntl 模块了。但是写完发现,这其实也不算是中断请求,而是哪个先到读哪个,忽视后面的返回值。
$workers = [];
$worker_num = 3;//创建的进程数
$finished = false;
$lock = new swoole_lock(SWOOLE_MUTEX);
for($i=0;$i<$worker_num ; $i++){
$process = new swoole_process("process"); //$process->useQueue(); $pid = $process->start(); $workers[$pid] = $process;
}
foreach($workers as $pid => $process){
//子进程也会包含此事件 swoole_event_add($process->pipe, function ($pipe) use($process, $lock, &$finished) { $lock->lock(); if(!$finished){ $finished = true; $data = $process->read(); echo "RECV: " . $data.PHP_EOL; } $lock->unlock(); });
}
function process(swoole_process $process){
$response = "http response"; $process->write($response); echo $process->pid," ",$process->callback .PHP_EOL;
}
for($i = 0; $i < $worker_num; $i++) {
$ret = swoole_process::wait(); $pid = $ret["pid"]; echo "Worker Exit, PID=".$pid.PHP_EOL;
}
pthreads
编译pthreads模块时,提示php编译时必须打开ZTS, 所以貌似必须 thread safe 版本才能使用. wamp中多php正好是TS的,直接下了个dll, 文档中的说明复制到对应目录,就在win下测试了。 还没完全理解,查到文章说 php 的 pthreads 和 POSIX pthreads是完全不一样的。代码有些烂,还需要多看看文档,体会一下。
class Foo extends Stackable {
public $url; public $response = null; public function __construct(){ $this->url = "http://www.baidu.com"; } public function run(){}
}
class Process extends Worker {
private $text = ""; public function __construct($text,$object){ $this->text = $text; $this->object = $object; } public function run(){ while (is_null($this->object->response)){ print " Thread {$this->text} is running "; $this->object->response = "http response"; sleep(1); } }
}
$foo = new Foo();
$a = new Process("A",$foo);
$a->start();
$b = new Process("B",$foo);
$b->start();
echo $foo->response;
yield
yield生成的generator,可以中断函数,并用send向 generator 发送消息。稍后补充协程的版本。还在学习中。
Golang
用Go实现比较简单, 回家后查了查 close,处理一下 panic就ok了。代码如下:
package main
import (
"fmt"
)
func main() {
var result chan string = make(chan string, 1) for index := 0; index< 3; index++ { go doRequest(result) } res, ok := <-result if ok { fmt.Println("received ", res) }
}
func doRequest(result chan string) {
response := "http response" defer func() { if x := recover(); x != nil { fmt.Println("Unable to send: %v", x) } }() result <- response close(result)
}
上面的几个方法,除了 curl_multi_* 貌似符合题意外(不确定,要看下源码),其他的方法都没有中断请求后recv()的操作, 如果得到response后还有后续操作,那么是有用的,否则并没有什么意义。想想可能是PHP操作粒度太大, 猜测用 C/C++ 应该能解决问题。
写的时候没有注意到一个问题,有些方式是返回值,有些直接打印了,这样不好,应该统一使用返回值得到请求结果。能力有限,先这样吧。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/22786.html
摘要:这里呢,我直接给出高并发场景通常都会考虑的一些解决思路和手段结尾如何有效的准备面试中并发类问题,我已经给出我的理解。 showImg(https://segmentfault.com/img/bV7Viy?w=550&h=405); 主题 又到面试季了,从群里,看到许多同学分享了自己的面试题目,我也抽空在网上搜索了一些许多公司使用的面试题,目前校招和社招的面试题基本都集中在几个大方向上...
摘要:并发表示在一段时间内有多个动作存在。并发带来的问题在享受并发编程带来的高性能高吞吐量的同时,也会因为并发编程带来一些意想不到弊端。并发过程中多线程之间的切换调度,上下文的保存恢复等都会带来额外的线程切换开销。 0x01 什么是并发 要理解并发首选我们来区分下并发和并行的概念。 并发:表示在一段时间内有多个动作存在。 并行:表示在同一时间点有多个动作同时存在。 例如:此刻我正在写博客,但...
摘要:我思考的是什么才算是高并发你一天几个肯定高不了。所以我得出一个自定义概念如果某个系统的日在千万级别以上,他就可能是一个高并发的系统。高并发的问题,我们具体该关心什么讲真话,高并发是个比较抽象的概念。是指秒钟响应的请求数量。 这并不是一个回答的问题的文章,而是由此引发的一个思考。 大家心里仔细想想,当你们听到高并发网站时,心里对这个网站是个什么概念?首先想到的是淘宝吗?带着问题,我们一起...
摘要:而爬虫一般用多线程来控制并发,然而如果是爬虫,由于其单线程无阻塞性质以及事件循环机制,一般不用多线程来控制并发当然也可以实现多线程,此处非重点不再多讲,而是更加简便地直接在代码层级上实现并发。下面我们用行代码实现一个并发控制的函数。 前言 首发于 github blog 做过爬虫的都知道,要控制爬虫的请求并发量,其实也就是控制其爬取频率,以免被封IP,还有的就是以此来控制爬虫应用运...
阅读 1104·2021-09-22 15:37
阅读 1131·2021-09-13 10:27
阅读 2467·2021-08-25 09:38
阅读 2445·2019-08-26 11:42
阅读 1524·2019-08-26 11:39
阅读 1554·2019-08-26 10:58
阅读 2317·2019-08-26 10:56
阅读 2569·2019-08-23 18:08