Windows 10下Delphi Winsock2重叠IO发送数据至不同端口时的数据包穿插问题及物理发送完成检测方案问询

我来帮你拆解这个问题，先解释现象背后的原因，再给你几个不需要服务器反馈就能实现的客户端侧解决方案。

先搞懂：为什么50100的小包会插在50101的数据流里？ #

这完全是Windows TCP栈的调度逻辑和TCP协议特性导致的：

• 你调用WSASend后，WSAGetOverlappedResult返回成功只是说明数据已经被拷贝到系统的发送缓冲区，不是已经通过网线发出去了。1MB的数据远大于TCP的滑动窗口（默认一般是几十KB到几百KB），所以这些数据会被存在50101 Socket的发送缓冲区里，TCP栈会慢慢拆分、分批发送，还要等服务器的ACK来滑动窗口，才能继续发下一批。
• Windows的TCP发送调度是全局的，它不会盯着一个Socket发完所有数据再处理其他Socket。在50101等待ACK的间隙，TCP栈看到50100有个小数据包在缓冲区里，就会优先把它发出去——毕竟小数据包的传输效率更高，这是操作系统优化网络吞吐量的正常操作。
• 另外，TCP本身只保证单个Socket内的数据有序，不同Socket之间的发送顺序，操作系统完全不做保证，全看调度器的"心情"。

不用服务器反馈，怎么等50101的数据真的发完？ #

如果你不想等服务器的确认消息，只想在客户端确认50101的数据已经物理发送（甚至收到ACK），可以用以下几种方法：

方法1：查TCP状态，等发送缓冲区和飞行数据都为空 #

Windows提供了SIO_TCP_INFO这个IOCTL，可以获取Socket的实时状态，其中SendQueueSize是发送缓冲区里还没发的字节数，BytesInFlight是已经发出去但还没收到ACK的字节数。等这两个值都为0，就说明50101的所有数据已经发完且被服务器确认了：

// 等50101的WSASend重叠操作完成后，执行这段逻辑
var
  TcpInfo: TCP_INFO;
  BytesReturned: DWORD;
begin
  repeat
    // 获取当前TCP Socket的状态
    if WSAIoctl(F50101Socket, SIO_TCP_INFO, nil, 0, @TcpInfo, sizeof(TcpInfo), @BytesReturned, nil, nil) = SOCKET_ERROR then
    begin
      // 处理错误，比如日志记录
      break;
    end;
    // 短休眠一下，别让CPU跑满
    Sleep(10);
  // 直到发送缓冲区空，且没有未ACK的飞行数据
  until (TcpInfo.SendQueueSize = 0) and (TcpInfo.BytesInFlight = 0);

  // 现在可以放心发50100的数据包了
  WSASend(F50100Socket,@WSABuff50100,1,WSABuff50100.len,0,@Overlapped50100,nil);
end;

方法2：调大发送缓冲区+强制Flush #

把50101的发送缓冲区设成和你要发的1MB数据一样大，这样WSASend完成后，所有数据都进了系统缓冲区，再用SIO_FLUSH强制TCP栈把缓冲区里的所有数据都发出去。这个方法不能保证收到ACK，但能确保数据已经离开客户端的系统，进入网络：

var
  SendBufSize: DWORD;
  BytesReturned: DWORD;
begin
  // 设置发送缓冲区为1MB，确保能装下所有要发的数据
  SendBufSize := 1024 * 1024;
  setsockopt(F50101Socket, SOL_SOCKET, SO_SNDBUF, @SendBufSize, sizeof(SendBufSize));

  // 发送1MB数据，等重叠操作完成
  WSASend(F50101Socket,@WSABuff50101,1,WSABuff50101.len,0,@Overlapped50101,nil);
  if not WSAGetOverlappedResult(F50101Socket, @Overlapped50101, SentBytes, TRUE, Flags) then
  begin
    // 记录错误日志
    Exit;
  end;

  // 强制TCP栈把发送缓冲区的所有数据都发出去
  if WSAIoctl(F50101Socket, SIO_FLUSH, nil, 0, nil, 0, @BytesReturned, nil, nil) = SOCKET_ERROR then
  begin
    // 处理Flush错误
  end;

  // 现在发50100的数据包
  WSASend(F50100Socket,@WSABuff50100,1,WSABuff50100.len,0,@Overlapped50100,nil);
end;

方法3：禁用Nagle算法（不推荐） #

开启TCP_NODELAY可以禁用Nagle算法，让TCP一有数据就发，不用等凑满MTU。但这会增加网络小包的数量，降低整体吞吐量，而且只能减少穿插的概率，不能从根本上保证顺序，所以只适合极端场景临时用：

var
  NoDelay: BOOL;
begin
  NoDelay := TRUE;
  setsockopt(F50101Socket, IPPROTO_TCP, TCP_NODELAY, @NoDelay, sizeof(NoDelay));
end;

最后总结一下 #

• 数据包穿插是Windows TCP调度的正常优化行为，不同Socket之间本来就没有发送顺序的保证。
• 如果要确保数据被服务器接收，最好还是用服务器的反馈；如果只是要客户端侧确认数据已物理发送，推荐用TCP状态查询的方法，最准确；SIO_FLUSH则是更轻量的选择，适合不需要确认ACK的场景。

内容的提问来源于stack exchange，提问作者Eggi