如何精确或近似测量数据包从网卡到应用层的接收时延

你当前的测量方法误差来源很大：clock_gettime取的是调用recvfrom前后的用户态时间，包含了系统调用阻塞等待、内核调度、协议栈处理的全部开销，完全无法匹配网卡实际收包的时间点，就算取平均也会引入大量不必要的误差。 #

方案1：网卡硬件时间戳（最高精度，适配你的Mellanox ConnectX-3网卡） #

你的ConnectX-3网卡和mlx4_en驱动原生支持IEEE 1588 PTP硬件时间戳，可以直接获取网卡物理层收到数据包的精确纳秒级时间，完全排除内核、系统调用的调度误差，是最符合你需求的方案：

• 第一步：修改套接字配置，开启RX硬件时间戳

int timestamp_flags = SOF_TIMESTAMPING_RX_HARDWARE | SOF_TIMESTAMPING_RAW_HARDWARE;
setsockopt(sock, SOL_SOCKET, SO_TIMESTAMPING, &timestamp_flags, sizeof(timestamp_flags));

• 第二步：用recvmsg替代recvfrom收包，从控制消息中提取硬件时间戳

struct msghdr msg;
struct cmsghdr *cmsg;
// 初始化msghdr相关字段省略
recvmsg(sock, &msg, 0);
// 遍历控制消息拿到硬件时间戳
for (cmsg = CMSG_FIRSTHDR(&msg); cmsg != NULL; cmsg = CMSG_NXTHDR(&msg, cmsg)) {
    if (cmsg->cmsg_level == SOL_SOCKET && cmsg->cmsg_type == SO_TIMESTAMPING) {
        struct timespec *hw_ts = (struct timespec *) CMSG_DATA(cmsg);
        // hw_ts就是网卡收到这个包的精确硬件时间
    }
}

• 第三步：计算时延的时候直接用recvmsg返回后取的当前时间减去硬件时间戳即可，误差可以控制在1微秒以内。
  注意：如果需要和系统时钟对比，可以用ptp4l工具同步网卡PTP时钟和系统时钟，也可以直接用硬件时钟原始值计算差值，避免时钟偏移影响。

方案2：内核软件时间戳（改造成本低，精度足够大多数场景） #

如果不需要纳秒级精度，可以开启内核SO_TIMESTAMP选项，拿到的是内核将数据包放入Socket接收缓冲区时的时间戳，比你当前的方案精度高两个数量级，改造成本极低：

int enable = 1;
setsockopt(sock, SOL_SOCKET, SO_TIMESTAMP, &enable, sizeof(enable));

同样通过recvmsg的控制消息提取时间戳即可，误差一般在1~10微秒之间，包含了内核协议栈处理的时间。

附加优化技巧 #

• 计时不要用CLOCK_REALTIME，改用CLOCK_MONOTONIC_RAW，不会被NTP等时间同步服务调整，计时稳定性更高。
• 测量时将进程绑定到孤立的CPU核心，关闭CPU睿频、变频功能，避免调度和频率波动带来的误差。
• 对精度要求极高的场景可以改用DPDK的mlx4 PMD驱动，直接在用户态接管网卡收包，省去内核上下文切换开销，测量精度可以到100纳秒级。

内容的提问来源于stack exchange，提问作者Won