【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

摘要：可以通过等方式按照协议通信。函数所需的变量在进入该函数之前认为已经初始化完成。和都有自己的，且互不干涉，后续发送的序列号以此为基准。

运营研发团队 方波 施洪宝

FastCGI(Fast Common Gateway Interface, 快速通用网关接口)是一种通信协议。可以通过Unix Domain Socket, Named Pipe, TCP等方式按照FastCGI协议通信。

图 1.1 FastCGI简介

FastCGI数据包两部分, 头部(header), 包体(body), 每个数据包都必须包含header, body可以没有。header为8个字节, body必须为8的整数倍, 不是的话需要填充。

typedef struct {
    unsigned char version;            // 版本号
    unsigned char type;               // 数据包类型
    unsigned char requestIdB1;        // 记录id高8位
    unsigned char requestIdB0;        // 记录id低8位
    unsigned char contentLengthB1;    // 记录内容长度高8位(body长度高8位)
    unsigned char contentLengthB0;    // 记录内容长度低8位(body长度低8位)
    unsigned char paddingLength;      // 补齐位长度(body补齐长度)
    unsigned char reserved;           // 补齐位
}Header;

图 1.2 FastCGI协议数据包头部字段说明

type的取值

#define FCGI_BEGIN_REQUEST       1                     //(web->fastcgi)请求开始数据包
#define FCGI_ABORT_REQUEST       2                     //(web->fastcgi)终止请求
#define FCGI_END_REQUEST         3                     //(fastcgi->web)请求结束
#define FCGI_PARAMS              4                     //(web->fastcgi)传递参数
#define FCGI_STDIN               5                     //(web->fastcgi)数据流传输数据
#define FCGI_STDOUT              6                     //(fastcgi->web)数据流传输数据
#define FCGI_STDERR              7                     //(fastcgi->web)数据流传输
#define FCGI_DATA                8                     //(web->fastcgi)数据流传输
#define FCGI_GET_VALUES          9                     //(web->fastcgi)查询fastcgi服务器性能参数
#define FCGI_GET_VALUES_RESULT  10                     //(fastcgi->web)fastcgi性能参数查询返回
#define FCGI_UNKNOWN_TYPE       11
#define FCGI_MAXTYPE (FCGI_UNKNOWN_TYPE)

图 1.3 Params数据包

说明:

1.params数据包以key, value格式发送, 具体格式为(keyLen, valLen, key, val)

2.key或者val长度大于127时，会用4个字节存储长度，否则用一个字节

图 1.4 数据流类型数据包

图 1.5 FastCGI简单通信流程

说明:

begin request 代表请求开始, end request 代表请求结束。

除begin request, end request类型数据包外, 其他类型数据包在发送完成后，需要发送一个只有头部，包体长度为0, 也就是没有包体的数据包，代表这种类型的数据包发送结束。

https://segmentfault.com/a/11...
https://blog.csdn.net/hepangd...

nginx发送的缓冲区数据格式如下:

图 2.1 FastCGI数据包总体结构图

说明:

本部分主要依据ngx_http_fastcgi_create_request函数, 该函数会构造缓存区，并向其中写入上图所示内容，上述没有考虑HTTP请求含有body的情况。

ngx_http_fastcgi_create_request 函数所需的变量, 在进入该函数之前认为已经初始化完成。

fastcgi le.ip

图 2.2 le.ip 结构图

图2.3 e.ip结构图

该函数主要依据图2.1， 将所需数据写入到ngx_http_request_t对应的ngx_http_upstream_t的缓冲区中。

写入key, val时, 通过调用相应函数实现, 该函数是与对应的key, val放置在一起的, 如图2.3所示。

//params数据包写入核心代码
while (*(uintptr_t *) le.ip) {
    lcode = *(ngx_http_script_len_code_pt *) le.ip;
    key_len = (u_char) lcode(&le); //获取key的长度
    lcode = *(ngx_http_script_len_code_pt *) le.ip;
    skip_empty = lcode(&le);      //查看空时是否跳过
    for (val_len = 0; *(uintptr_t *) le.ip; val_len += lcode(&le)) {
        lcode = *(ngx_http_script_len_code_pt *) le.ip;
    }
    le.ip += sizeof(uintptr_t);        //当前key:value结束, le.ip后移1位
    if (skip_empty && val_len == 0) { //value为空, 并且设置空时跳过该key
        e.skip = 1;
        while (*(uintptr_t *) e.ip) {
            code = *(ngx_http_script_code_pt *) e.ip;
            code((ngx_http_script_engine_t *) &e);
        }
        e.ip += sizeof(uintptr_t);
        e.skip = 0;
        continue;
    }
    *e.pos++ = (u_char) key_len; //写入key len 
    if (val_len > 127) {         //写入value len
        *e.pos++ = (u_char) (((val_len >> 24) & 0x7f) | 0x80);
        *e.pos++ = (u_char) ((val_len >> 16) & 0xff);
        *e.pos++ = (u_char) ((val_len >> 8) & 0xff);
        *e.pos++ = (u_char) (val_len & 0xff);
    } else {
        *e.pos++ = (u_char) val_len;
    }
    while (*(uintptr_t *) e.ip) {
        code = *(ngx_http_script_code_pt *) e.ip;
        code((ngx_http_script_engine_t *) &e);  //调用code存储的处理函数, 负责将key, value内容写入缓存, 并将e.ip后移
    }
    e.ip += sizeof(uintptr_t);                  //当前Key:Value结束, 跳过NULL, e.ip后移一位
    ngx_log_debug4(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
                   "fastcgi param: "%*s: %*s"",
                   key_len, e.pos - (key_len + val_len),
                   val_len, e.pos - val_len);
}

14:50:02.836252 IP bogon.46288 > localhost.cslistener: Flags [S], seq 304127093, win 29200, options [mss 1460,sackOK,TS val 105743206 ecr 0,nop,wscale 7], length 0
14:50:02.874743 IP localhost.cslistener > bogon.46288: Flags [S.], seq 15154, ack 304127094, win 32768, options [mss 1460], length 0
14:50:02.874804 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15155, win 29200, length 0

代码3.1 tcpdump三次握手

图3.1 三次握手链接过程

Client发送请求包seq 304127093，Server返回确认数据包ack=seq(client)+1，同时返回Server自己的seq 15154，Client收到后发送确认包ack=seq(server)+1，建立链接。
Client和Server都有自己的seq，且互不干涉，后续发送的序列号以此为基准。

3.2 请求数据包图2.1 Client向Server发送请求数据包

Mac帧头部(14字节)

IP头部(20字节)

TCP头部(20字节)

FastCGI数据包(begin request(8+ 8 = 16) + params(8 + 507 + 5 = 520) + end params(8+ 0 = 8) + stdin(8 + 0 = 8) = 552)

Params 数据包参数整理:

说明

stdin类型数据包长度大于32k时, nginx fastcgi会进行分包, 此时会发送多个stdin类型数据包, 发送完成后再发送stdin结束包(只有包头，没有包体的数据包)。

wireshark或者tcpdump抓包时, 可能会出现某个数据包长度大于MTU, 主要是由于主机开启TSO功能导致, 具体可以参考http://wsfdl.com/%E8%B8%A9%E5...

TSO进行的是TCP分段, 不是IP分片

如果抓到的包, IP头部, identified field is 0, 表明tcp不需分段, don"t fragment 置位1, 具体参考http://www.linuxsa.org.au/pip...

TCP头部可选项含义参考https://www.jianshu.com/p/39b...

14:50:02.913289 IP localhost.cslistener > bogon.46288: Flags [P.], seq 15155:15395, ack 304127646, win 32216, length 240
    0x0000:  0800 2701 5190 5254 0012 3500 0800 4500  ..".Q.RT..5...E.
    0x0010:  0118 02bf 0000 ff06 2fb6 0a60 7207 0a00  ......../..`r...
    0x0020:  0204 2328 b4d0 0000 3b33 1220 9e9e 5018  ..#(....;3....P.
    0x0030:  7dd8 df40 0000 0106 0001 00d8 0000 5365  }..@..........Se
    0x0040:  742d 436f 6f6b 6965 3a20 5048 5053 4553  t-Cookie:.PHPSES
    0x0050:  5349 443d 6268 3174 3772 6e61 3233 716c  SID=bh1t7rna23ql
    0x0060:  6d63 6235 6d6a 686d 3967 756f 7631 3b20  mcb5mjhm9guov1;.
    0x0070:  7061 7468 3d2f 0d0a 4578 7069 7265 733a  path=/..Expires:
    0x0080:  2054 6875 2c20 3139 204e 6f76 2031 3938  .Thu,.19.Nov.198
    0x0090:  3120 3038 3a35 323a 3030 2047 4d54 0d0a  1.08:52:00.GMT..
    0x00a0:  4361 6368 652d 436f 6e74 726f 6c3a 206e  Cache-Control:.n
    0x00b0:  6f2d 7374 6f72 652c 206e 6f2d 6361 6368  o-store,.no-cach
    0x00c0:  652c 206d 7573 742d 7265 7661 6c69 6461  e,.must-revalida
    0x00d0:  7465 0d0a 5072 6167 6d61 3a20 6e6f 2d63  te..Pragma:.no-c
    0x00e0:  6163 6865 0d0a 436f 6e74 656e 742d 7479  ache..Content-ty
    0x00f0:  7065 3a20 7465 7874 2f68 746d 6c3b 2063  pe:.text/html;.c
    0x0100:  6861 7273 6574 3d55 5446 2d38 0d0a 0d0a  harset=UTF-8....
    0x0110:  646f 636b 6572 0103 0001 0008 0000 0000  docker..........
    0x0120:  0000 0064 223a                           ...d":

代码3.2 Server向Client发送响应数据包

Mac帧头部(14字节)

IP头部(20字节)

TCP头部(20字节)

FastCGI数据包(begin stdout(8+ 216 = 224) + end request(8+ 8 = 16) = 240)

14:50:02.913365 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15395, win 30016, length 0

图3.3 数据发送

14:50:02.913629 IP bogon.46288 > localhost.cslistener: Flags [F.], seq 304127646, ack 15395, win 30016, length 0
14:50:02.913767 IP localhost.cslistener > bogon.46288: Flags [.], ack 304127647, win 32215, length 0
14:50:02.951270 IP localhost.cslistener > bogon.46288: Flags [F.], seq 15395, ack 304127647, win 32215, length 0
14:50:02.951452 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15396, win 30016, length 0

代码3.3 tcp断开链接

图3.4 tcpdump抓包对应的tcp流程图

https://my.oschina.net/manmao...
https://segmentfault.com/a/11...