【Swoole源码研究】浅析swoole中server的实现

摘要：的部分是基于以及协议的。例如父进程向中写入子进程从中读取子进程向中写入父进程从中读取。默认使用对进程进行分配交给对应的线程进行监听线程收到某个进程的数据后会进行处理值得注意的是这个线程可能并不是发送请求的那个线程。

作者：施洪宝

swoole是面向生产环境的php异步网络通信引擎, php开发人员可以利用swoole开发出高性能的server服务。swoole的server部分, 内容很多, 也涉及很多的知识点, 本文仅对其server进行简单的概述, 具体的实现细节在后续的文章中再进行详细介绍。

网络通信是指在一台(或者多台)机器上启动一个(或者多个)进程, 监听一个(或者多个)端口, 按照某种协议(可以是标准协议http, dns; 也可以是自行定义的协议)与客户端交换信息。

目前的网络编程多是在tcp, udp或者更上层的协议之上进行编程。swoole的server部分是基于tcp以及udp协议的。

利用udp进行编程较为简单, 本文主要介绍tcp协议之上的网络编程

TCP网络编程主要涉及4种事件,

连接建立: 主要是指客户端发起连接(connect)以及服务端接受连接(accept)

消息到达: 服务端接受到客户端发送的数据, 该事件是TCP网络编程最重要的事件, 服务端对于该类事件进行处理时, 可以采用阻塞式或者非阻塞式, 除此之外, 服务端还需要考虑分包, 应用层缓冲区等问题

消息发送成功: 发送成功是指应用层将数据成功发送到内核的套接字发送缓冲区中, 并不是指客户端成功接受数据。对于低流量的服务而言, 数据通常一次性即可发送完, 并不需要关心此类事件。如果一次性不能将全部数据发送到内核缓冲区, 则需要关心消息是否成功发送(阻塞式编程在系统调用(write, writev, send等)返回后即是发送成功, 非阻塞式编程则需要考虑实际写入的数据是否与预期一致)

连接断开: 需要考虑客户端断开连接(read返回0)以及服务端断开连接(close, shutdown)

进程之间的通信有无名管道(pipe), 有名管道(fifo), 信号, 信号量, 套接字, 共享内存等方式

swoole中采用unix域套接字用于多进程之间的通信(指swoole内部进程之间)

socketpair用于创建一个套接字对, 类似于pipe, 不同的是pipe是单向通信, 双向通信需要创建两次, socketpair调用一次即可实现双向通信, 除此之外, 由于使用的是套接字, 还可以定义数据交换的方式

socketpair系统调用

int socketpair(int domain, int type, int protocol, int sv[2]);
//domain表示协议簇
//type表示类型
//protocol表示协议, SOCK_STREAM表示流协议(类似tcp), SOCK_DGRAM表示数据报协议(类似udp)
//sv用于存储建立的套接字对, 也就是两个套接字文件描述符
//成功返回0, 否则返回-1, 可以从errno获取错误信息

调用成功后sv[0], sv[1]分别存储一个文件描述符

向sv[0]中写入, 可以从sv[1]中读取

向sv[1]中写入, 可以从sv[0]中读取

进程调用socketpair后, fork子进程, 子进程会默认继承sv[0], sv[1]这两个文件描述符, 进而可以实现父子进程间通信。例如, 父进程向sv[0]中写入, 子进程从sv[1]中读取; 子进程向sv[1]中写入, 父进程从sv[0]中读取。

守护进程是一种特殊的后台进程, 它脱离于终端, 用于周期性的执行某种任务

进程组

每个进程都属于一个进程组

每个进程组都有一个进程组号, 也就是该组组长的进程号(PID)

一个进程只能为自己或者其子进程设置进程组号

会话

一个会话可以包含多个进程组, 这些进程组中最多只能有一个前台进程组(也可以没有)

setsid可以创建一个新的会话, 该进程不能是进程组的组长。setsid调用完成后, 该进程成为这个会话的首进程(领头进程), 同时变成一个新的进程组的组长, 如果该进程之前有控制终端, 则该进程与终端的联系被断开

用户通过终端登录或者网络登录, 会创建一个新的会话

一个会话最多只能有一个控制终端

创建守护进程的方式

fork子进程后, 父进程退出, 子进程执行setsid即可成为守护进程。这种方式下, 子进程是会话的领头进程, 可以重新打开终端, 此时可以再次fork, fork产生的子进程无法再打开终端。第二次fork并不是必须的, 只是为了防止子进程再次打开终端

linux提供了daemon函数用于创建守护进程

set(array(
    "reactor_num" => 2, //reactor thread num
    "worker_num" => 3,  //worker process num
));

//设置事件回调
$serv->on("connect", function ($serv, $fd){
    echo "Client:Connect.
";
});
$serv->on("receive", function ($serv, $fd, $reactor_id, $data) {
    $serv->send($fd, "Swoole: ".$data);
    $serv->close($fd);
});
$serv->on("close", function ($serv, $fd) {
    echo "Client: Close.
";
});

//启动server
$serv->start();

上述代码在cli模式下执行时, 经过词法分析, 语法分析生成opcode, 进而交由zend虚拟机执行

zend虚拟机在执行到$serv->start()时, 启动swoole server

上述代码中设置的事件回调是在worker进程中执行, 后文会详细介绍swoole server模型

说明

base模式采用多进程模型, 这种模型与nginx一致, 每个进程只有一个线程, 主进程负责管理工作进程, 工作进程负责监听端口, 接受连接, 处理请求以及关闭连接

多个进程同时监听端口, 会有惊群问题, 目前swoole并没有解决

linux 内核3.9及其后续版本提供了新的套接字参数SO_REUSEPORT, 该参数允许多个进程绑定到同一个端口, 内核在接受到新的连接请求时, 会唤醒其中一个进行处理, 内核层面也会做负载均衡, 可以解决上述的惊群问题

base模式下, reactor_number参数并没有作用, 因为每个进程只有一个线程

如果worker进程数设置为1, 则不会fork出worker进程, 主进程直接处理请求

启动过程

php代码执行到$serv->start()时, 主进程进入int swServer_start(swServer *serv)函数, 该函数负责启动server

在函数swServer_start中会调用swReactorProcess_start, 这个函数会fork出多个worker进程

主进程和worker进程各自进入自己的事件循环, 处理各类事件

说明

这种模式为多进程多线程, 有主进程, manager进程, worker进程, task_worker进程

主进程下有多个线程, 主线程负责接受连接, 之后交给react线程处理请求。 react线程负责接收数据包, 并将数据转发给worker进程进行处理, 之后处理worker进程返回的数据

manager进程, 该进程为单线程, 主要负责管理worker进程, 类似于nginx中的主进程, 当worker进程异常退出时, manager进程负责重新fork出一个worker进程

worker进程, 该进程为单线程, 负责具体处理请求

task_worker进程, 用于处理比较耗时的任务, 默认不开启

worker进程与主进程中的react线程使用域套接字进行通信, worker进程之间不进行通信

启动过程

swoole server启动入口: swServer_start函数,

//php 代码中$serv->start(); 会调用函数, 进行server start
int swServer_start(swServer *serv);

// 该函数首先进行必要的参数检查
static int swServer_start_check(swServer *serv);
// 其中有,
if (serv->worker_num < serv->reactor_num)
{
    serv->reactor_num = serv->worker_num;
}//也就是说reactor_num <= worker_num

//之后执行factory start, 也就是swFactoryProcess_start函数, 该函数会fork出manager进程, manager进程进而fork出worker进程以及task_worker进程
if (factory->start(factory) < 0)
{
    return SW_ERR;
}

//然后主进程的主线程生成reactor线程
if (serv->factory_mode == SW_MODE_BASE)
{
    ret = swReactorProcess_start(serv);
}
else
{   
    ret = swReactorThread_start(serv);
}

如果设置了daemon模式, 在必要的参数检查完后, 先将自己变为守护进程再fork manager进程, 进而创建reactor线程

主进程先fork出manager进程, manager进程负责fork出worker进程以及task_worker进程。worker进程之后进入int swWorker_loop(swServer *serv, int worker_id), 也就是进入自己的事件循环, task_worker也是一样, 进入自己的事件循环。

static int swFactoryProcess_start(swFactory *factory);
//swFactoryProcess_start会调用swManager_start生成manager进程
int swManager_start(swServer *serv);
// manager进程会fork出worker进程以及task_worker进程

主进程pthread_create出react线程, 主线程和react线程各自进入自己的事件循环, reactor线程执行static int swReactorThread_loop(swThreadParam *param), 等待处理事件

//主线程执行swReactorThread_start, 创建出reactor线程
int swReactorThread_start(swServer *serv);

结构图

swoole process模式结构如下图所示,

上图并没有考虑task_worker进程, 在默认情况下, task_worker进程数为0

swoole master进程与worker进程之间的通信如下图所示,

swoole使用SOCK_DGRAM, 而不是SOCK_STREAM, 这里是因为每个reactor线程负责处理多个请求, reactor接收到请求后会将信息转发给worker进程, 由worker进程负责处理,如果使用SOCK_STREAM, worker进程无法对tcp进行分包, 进而处理请求

swFactoryProcess_start函数中会根据worker进程数创建对应个数的套接字对, 用于reactor线程与worker进程通信(swPipeUnsock_create函数)

假设reactor线程有2个, worker进程有3个, 则reactor与worker之间的通信如下图所示,

每个reactor线程负责监听几个worker进程, 每个worker进程只有一个reactor线程监听(reactor_num<=worker_num)。swoole默认使用worker_process_id % reactor_num对worker进程进行分配, 交给对应的reactor线程进行监听

reactor线程收到某个worker进程的数据后会进行处理, 值得注意的是, 这个reactor线程可能并不是发送请求的那个reactor线程。

reactor线程与worker进程通信的数据包

//包头
typedef struct _swDataHead
{
    int fd;
    uint32_t len;
    int16_t from_id;
    uint8_t type;
    uint8_t flags;
    uint16_t from_fd;
#ifdef SW_BUFFER_RECV_TIME
    double time;
#endif
} swDataHead;

//reactor线程向worker进程发送的数据, 也就是worker进程收到的数据包
typedef struct
{
    swDataHead info;
    char data[SW_IPC_BUFFER_SIZE];
} swEventData;

//worker进程向reactor线程发送的数据, 也就是reactor线程收到的数据包
typedef struct
{
    swDataHead info;
    char data[0];
} swPipeBuffer;

master进程中的主线程负责监听端口(listen), 接受连接(accept, 产生一个fd), 接受连接后将请求分配给reactor线程, 默认通过fd % reactor_num进行分配, 之后通过epoll_ctl将fd加入到对应reactor线程中(如果对应的reactor线程正在执行epoll_wait, 主线程会阻塞), 刚加入时监听写事件, 如果直接监听读事件, 可能会立刻被触发, 而监听写事件可以允许reactor线程进行一些初始化操作

//主线程执行epoll_ctl将fd(新接受的连接)加入到reactor线程的监听队列中
epoll_ctl(epfd, fd, ...);
//对应的reactor线程如果正在执行
epoll_wait(epfd, ...);

这种情况主线程会被阻塞(两个线程同时操作epfd)

如果reactor线程没有正在执行epoll_wait, 主线程则不会被阻塞, 执行成功后直接返回

reactor线程中fd的写事件被触发, reactor线程负责处理, 发现是首次加入, 没有数据可写, 则开启读事件监听

reactor线程读取到用户的请求数据, 一个请求的数据接收完后, 将数据转发给worker进程, 默认是通过fd % worker_num进行分配

reactor发送给worker进程的数据包, 会包含一个头部, 头部中记录了reactor的信息

如果发送的数据过大, 则需要将数据进行分片, 限于篇幅, reactor的分片, 后续再进行详细讲述

可能存在多个reactor线程同时向同一个worker进程发送数据的情况, 故而swoole采用SOCK_DGRAM模式与worker进程进行通信, 通过每个数据包的包头, worker进程可以区分出是由哪个reactor线程发送的数据

worker进程收到reactor发送的数据包后, 进行处理, 处理完成后, 将数据发送给主进程

worker进程发送给主进程的数据包, 也会包含一个头部, 当reactor线程收到数据包后, 能够知道对应的reactor线程, 请求的fd等信息

主进程收到worker进程发送的数据包, 这个会触发某个reactor线程进行处理

这个reactor线程并不一定是之前发送请求给worker进程的那个reactor线程

主进程的每个reactor线程都负责监听worker进程发送的数据包, 每个worker发送的数据包只会由一个reactor线程进行监听, 故而只会触发一个reactor线程

reactor线程处理worker进程发送的数据包, 如果是直接发送数据给客户端, 则可以直接发送, 如果需要改变这个这个连接的监听状态(例如close), 则需要先找到监听这个连接的reactor, 进而改变这个连接的监听状态

reactor处理线程与reactor监听线程可能并不是同一个线程

reactor监听线程负责监听客户端发送的数据, 进而转发给worker进程

reactor处理线程负责监听worker进程发送给主进程的数据, 进而将数据发送给客户端

//fork manager进程
#0  0x00007ffff67dae64 in fork () from /lib64/libc.so.6
#1  0x00007ffff553888a in swoole_fork () at /root/code/swoole-src/src/core/base.c:186
#2  0x00007ffff556afb8 in swManager_start (serv=serv@entry=0x1353f60) at /root/code/swoole-src/src/server/manager.cc:164
#3  0x00007ffff5571dde in swFactoryProcess_start (factory=0x1353ff8) at /root/code/swoole-src/src/server/process.c:198
#4  0x00007ffff556ef8b in swServer_start (serv=0x1353f60) at /root/code/swoole-src/src/server/master.cc:651
#5  0x00007ffff55dc808 in zim_swoole_server_start (execute_data=, return_value=0x7fffffffac50)
    at /root/code/swoole-src/swoole_server.cc:2946
#6  0x00000000007bb068 in ZEND_DO_FCALL_SPEC_RETVAL_UNUSED_HANDLER () at /root/php-7.3.3/Zend/zend_vm_execute.h:980
#7  execute_ex (ex=0x7ffff7f850a8) at /root/php-7.3.3/Zend/zend_vm_execute.h:55485
#8  0x00000000007bbf58 in zend_execute (op_array=op_array@entry=0x7ffff5e7b340, return_value=return_value@entry=0x7ffff5e1d030)
    at /root/php-7.3.3/Zend/zend_vm_execute.h:60881
#9  0x0000000000737554 in zend_execute_scripts (type=type@entry=8, retval=0x7ffff5e1d030, retval@entry=0x0,
    file_count=file_count@entry=3) at /root/php-7.3.3/Zend/zend.c:1568
#10 0x00000000006db4d0 in php_execute_script (primary_file=primary_file@entry=0x7fffffffd050) at /root/php-7.3.3/main/main.c:2630
#11 0x00000000007be2f5 in do_cli (argc=2, argv=0x1165cd0) at /root/php-7.3.3/sapi/cli/php_cli.c:997
#12 0x000000000043fc1f in main (argc=2, argv=0x1165cd0) at /root/php-7.3.3/sapi/cli/php_cli.c:1389


// pthread_create reactor线程
#0  0x00007ffff552e960 in pthread_create@plt () from /usr/local/lib/php/extensions/no-debug-non-zts-20180731/swoole.so
#1  0x00007ffff5576959 in swReactorThread_start (serv=0x1353f60) at /root/code/swoole-src/src/server/reactor_thread.c:883
#2  0x00007ffff556f006 in swServer_start (serv=0x1353f60) at /root/code/swoole-src/src/server/master.cc:670
#3  0x00007ffff55dc808 in zim_swoole_server_start (execute_data=, return_value=0x7fffffffac50)
    at /root/code/swoole-src/swoole_server.cc:2946
#4  0x00000000007bb068 in ZEND_DO_FCALL_SPEC_RETVAL_UNUSED_HANDLER () at /root/php-7.3.3/Zend/zend_vm_execute.h:980
#5  execute_ex (ex=0x7fffffffab10) at /root/php-7.3.3/Zend/zend_vm_execute.h:55485
#6  0x00000000007bbf58 in zend_execute (op_array=op_array@entry=0x7ffff5e7b340, return_value=return_value@entry=0x7ffff5e1d030)
    at /root/php-7.3.3/Zend/zend_vm_execute.h:60881
#7  0x0000000000737554 in zend_execute_scripts (type=type@entry=8, retval=0x7ffff5e1d030, retval@entry=0x0,
    file_count=file_count@entry=3) at /root/php-7.3.3/Zend/zend.c:1568
#8  0x00000000006db4d0 in php_execute_script (primary_file=primary_file@entry=0x7fffffffd050) at /root/php-7.3.3/main/main.c:2630
#9  0x00000000007be2f5 in do_cli (argc=2, argv=0x1165cd0) at /root/php-7.3.3/sapi/cli/php_cli.c:997
#10 0x000000000043fc1f in main (argc=2, argv=0x1165cd0) at /root/php-7.3.3/sapi/cli/php_cli.c:1389

//base 模式下的启动
#0  0x00007ffff67dae64 in fork () from /lib64/libc.so.6
#1  0x00007ffff553888a in swoole_fork () at /root/code/swoole-src/src/core/base.c:186
#2  0x00007ffff5558557 in swProcessPool_spawn (pool=pool@entry=0x7ffff2d2a308, worker=0x7ffff2d2a778)
    at /root/code/swoole-src/src/network/process_pool.c:392
#3  0x00007ffff5558710 in swProcessPool_start (pool=0x7ffff2d2a308) at /root/code/swoole-src/src/network/process_pool.c:227
#4  0x00007ffff55741cf in swReactorProcess_start (serv=0x1353f60) at /root/code/swoole-src/src/server/reactor_process.cc:176
#5  0x00007ffff556f21d in swServer_start (serv=0x1353f60) at /root/code/swoole-src/src/server/master.cc:666
#6  0x00007ffff55dc808 in zim_swoole_server_start (execute_data=, return_value=0x7fffffffac50)
    at /root/code/swoole-src/swoole_server.cc:2946
#7  0x00000000007bb068 in ZEND_DO_FCALL_SPEC_RETVAL_UNUSED_HANDLER () at /root/php-7.3.3/Zend/zend_vm_execute.h:980
#8  execute_ex (ex=0x7ffff2d2a308) at /root/php-7.3.3/Zend/zend_vm_execute.h:55485
#9  0x00000000007bbf58 in zend_execute (op_array=op_array@entry=0x7ffff5e7b340, return_value=return_value@entry=0x7ffff5e1d030)
    at /root/php-7.3.3/Zend/zend_vm_execute.h:60881
#10 0x0000000000737554 in zend_execute_scripts (type=type@entry=8, retval=0x7ffff5e1d030, retval@entry=0x0,
    file_count=file_count@entry=3) at /root/php-7.3.3/Zend/zend.c:1568
#11 0x00000000006db4d0 in php_execute_script (primary_file=primary_file@entry=0x7fffffffd050) at /root/php-7.3.3/main/main.c:2630
#12 0x00000000007be2f5 in do_cli (argc=2, argv=0x1165cd0) at /root/php-7.3.3/sapi/cli/php_cli.c:997
#13 0x000000000043fc1f in main (argc=2, argv=0x1165cd0) at /root/php-7.3.3/sapi/cli/php_cli.c:1389

UNIX网络编程

UNIX环境高级编程

https://wiki.swoole.com/

https://www.cnblogs.com/welhz...

https://www.cnblogs.com/JohnA...