Python中抓取大UDP报文丢失问题排查求助

针对你遇到的UDP大报文频繁丢失、但Wireshark能正常捕获的情况，核心原因大概率是系统Socket缓冲区不足或IP分片重组失败，以下是具体的排查和解决方法：

1. 增大Socket接收缓冲区大小 #

UDP是无连接协议，系统默认的接收缓冲区（通常在几十KB到几百KB）远不足以承载你每秒16个35336字节（合计约565KB/秒）的大报文流量，一旦缓冲区被占满，新的报文就会被内核丢弃。

解决步骤： #

• 在Python代码中显式设置接收缓冲区大小，建议设为至少2倍于峰值流量所需的空间（比如8MB）：

  sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, socket.IPPROTO_UDP)
  # 先设置缓冲区，注意要在bind之前
  sock.setsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF, 1024 * 1024 * 8)
  sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
  sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEPORT, 1)
  

• 同时需要调整系统级的缓冲区上限：
  • Linux：执行命令临时生效，或者写入/etc/sysctl.conf永久生效：

    sysctl -w net.core.rmem_max=16777216  # 设置为16MB
    

  • Windows：修改注册表HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\AFD\Parameters下的DefaultReceiveWindow，设置为十进制的8388608（8MB），重启生效。

2. 排查IP分片与重组问题 #

35336字节的UDP报文远超常规MTU（即使Jumbo帧MTU设为9000，也需要分成至少5个分片），系统内核的IP重组缓冲区不足或重组超时会导致完整报文无法交付给应用层，而Wireshark是在链路层抓包，能看到所有分片，但应用层只能拿到重组后的完整报文。

解决步骤： #

• Linux：调整分片相关参数：

  sysctl -w net.ipv4.ipfrag_high_thresh=16777216  # 重组缓冲区上限
  sysctl -w net.ipv4.ipfrag_time=30  # 分片超时时间，单位秒
  

• Windows：检查HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters下的IPFragmentTimeout，确保设置足够的重组时间（默认60秒，一般无需调整，但可以确认）。

3. 优化接收逻辑，避免阻塞 #

如果你的后续处理逻辑（比如打印、解析大报文）耗时较长，会导致recvfrom无法及时读取缓冲区中的数据，进而引发丢包。可以将接收和处理分离：

import socket
import struct
from threading import Thread
from queue import Queue

def receiver(sock, q):
    while True:
        data, addr = sock.recvfrom(1024*1024)
        q.put((data, addr))

def processor(q):
    gap = 0
    max_gap = 0
    while True:
        data, addr = q.get()
        ld = len(data)
        if ld < 30000:
            gap += 1
        else:
            print("=====long message=====")
            gap = 0
        max_gap = max(max_gap, gap)
        print(f"{gap=} {max_gap=} {len(data)=}")

def grabber():
    print("Grabbing")
    MCAST_GRP = '224.0.2.2'
    MCAST_PORT = 42102
    sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, socket.IPPROTO_UDP)
    sock.setsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF, 1024*1024*8)
    sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEPORT, 1)
    sock.bind(('', MCAST_PORT))
    mreq = struct.pack("4sl", socket.inet_aton(MCAST_GRP), socket.INADDR_ANY)
    sock.setsockopt(socket.IPPROTO_IP, socket.IP_ADD_MEMBERSHIP, mreq)

    q = Queue(maxsize=100)
    Thread(target=receiver, args=(sock, q), daemon=True).start()
    processor(q)

if __name__ == "__main__":
    grabber()

4. 检查组播相关配置 #

确认系统和网卡的组播接收功能正常：

• Linux：用ip maddr show查看是否已加入目标组播地址224.0.2.2，如果没有，检查组播路由配置：

  ip route add 224.0.0.0/4 dev <你的网卡名>  # 比如eth0
  

• Windows：用netsh interface ip show joins查看组播成员，确保目标地址在列表中。

内容的提问来源于stack exchange，提问作者jjscout