非阻塞Socket的recv调用异常：接收字节数少于Wireshark捕获值

问题原因分析 #

1. 内核态到用户态的拷贝时序差：Wireshark是从网卡层面抓取数据，此时数据刚进入内核缓冲区，但还没完成向用户态缓冲区的拷贝。你的代码遇到EWOULDBLOCK就直接继续循环，若此时内核还在处理最后1字节的拷贝逻辑，当前recv会返回无数据，导致你误以为读取完毕，实际剩余字节仍留在内核缓冲区中。

2. 无事件驱动的循环缺陷：单纯依靠recv+EWOULDBLOCK的循环没有结合IO事件监听，当内核缓冲区剩余少量数据时，可能因进程调度问题，你的程序在数据准备完成前就退出了循环，漏掉最后1字节。

3. TCP流式协议特性：TCP是无边界的字节流，Wireshark抓到的单包只是TCP分片，应用层不能以抓包的单包大小作为读取目标。你的代码没有基于应用层协议判断数据是否完整，仅靠循环读取，容易出现漏读情况。

解决方案 #

1. 结合IO多路复用（推荐）

用epoll/select监听socket的可读事件，只有当内核通知有数据可读时才调用recv，确保每次读取都能拿到内核中已准备好的数据，避免空转或提前退出。示例逻辑：

// 初始化epoll
int epfd = epoll_create(1);
struct epoll_event ev, events[1];
ev.events = EPOLLIN;
ev.data.fd = sock;
epoll_ctl(epfd, EPOLL_CTL_ADD, sock, &ev);

int len = 0;
unsigned char buffer[/* 足够大的缓冲区 */];
while (1) {
    int nfds = epoll_wait(epfd, events, 1, -1); // 阻塞等待可读事件
    if (nfds < 0) {
        perror("epoll_wait error");
        break;
    }
    for (int i = 0; i < nfds; i++) {
        if (events[i].data.fd == sock) {
            int rc = recv(sock, buffer+len, sizeof(buffer)-len, 0);
            if (rc < 0) {
                if (errno != EWOULDBLOCK) {
                    perror("recv error");
                    goto cleanup;
                }
                continue;
            }
            if (rc == 0) {
                goto cleanup;
            }
            len += rc;
            // 此处可根据应用层协议判断是否读取到完整数据，是则退出循环
        }
    }
}
cleanup:
close(epfd);

2. 优化循环重试逻辑

如果暂时不想引入多路复用，可以在遇到EWOULDBLOCK时短暂休眠并重试几次，给内核足够时间完成数据拷贝：

int len = 0;
unsigned char buffer[/* 足够大的缓冲区 */];
int retry = 3; // 设置重试次数
while (1) {
    int rc = recv(sock, buffer+len, sizeof(buffer)-len, 0);
    if (rc < 0) {
        if (errno == EWOULDBLOCK) {
            if (retry-- > 0) {
                usleep(1000); // 休眠1ms再尝试读取
                continue;
            }
            break; // 重试后仍无数据，退出循环
        }
        perror("recv error");
        break;
    }
    if (rc == 0) {
        break; // 连接关闭，退出循环
    }
    len += rc;
    retry = 3; // 读到数据后重置重试次数
}

3. 基于应用层协议判断完整性

无论采用哪种读取方式，都应该根据你的应用层协议（比如固定包长、结束符、头部长度字段）来判断是否读取到了完整的业务数据，而非依赖抓包的单包字节数。例如协议头部包含长度字段时，读完头部后计算总数据长度，循环读取直到达到该长度。

内容的提问来源于stack exchange，提问作者dochenaj