同机型GCP虚拟机处理相同UDP流量时CPU负载差异较大问题咨询

以下排查路径按验证成本从低到高排序：

实例侧配置一致性校验 #

同机型实例出现网络性能差异时，优先排除实例内配置差，再排查宿主机层面问题：

• 校验CPU底层配置一致性：同机型GCP实例可能调度到不同步进、不同微码版本的宿主机CPU上，UDP小包处理路径对CPU指令集优化敏感度远高于TCP。在两台实例内分别执行cat /proc/cpuinfo | grep -E "model name|stepping|microcode|flags"，对比输出的CPU型号、步进、微码版本，以及avx等网络优化相关特性flag是否完全一致。
• 校验系统与驱动配置一致性：分别执行以下命令对比输出，确认内核版本、virtio网卡驱动、网络栈参数无差异：
  • uname -r 确认内核版本
  • ethtool -i eth0 确认virtio_net驱动版本
  • sysctl -a | grep -E "net.core.(rmem|wmem|busy_read|busy_poll|dev_weight)" 确认网络收发包核心参数
• 校验网卡卸载开关一致性：执行ethtool -k eth0对比两台实例的网卡卸载配置，重点核对udp-fragmentation-offload、generic-receive-offload、rx-checksumming、tx-checksumming状态，偶发场景下实例启动时会出现卸载开关未按默认值加载的问题，和观察到的「停机重启后异常消失」现象吻合。
• 校验网卡队列配置一致性：执行ethtool -l eth0对比两台实例的网卡收发队列数量，绑核测试场景下如果队列数分配不均，UDP无连接收包的软中断压力会集中在单核，直接体现为CPU占用差；TCP自带流调度机制，对队列数差异的敏感度远低于UDP，可解释TCP压测负载无差异的现象。

运行时路径差异排查 #

压测过程中同步采集以下指标，定位开销差出现的具体位置：

• 软中断分布对比：压测时执行mpstat -P ALL 1 10、watch -n1 cat /proc/softirqs，重点对比绑定的1号CPU核上NET_RX软中断的占比、累计次数，确认是否存在单核算力被软中断占满的情况。
• 栈路径开销对比：用perf top -p 0分别采集两台实例压测时的内核态热点函数，确认高负载实例是否在udp_recvmsg、virtnet_poll、do_softirq等路径上有异常高的占比。

宿主机/Hypervisor层面排查 #

完成上述实例侧校验无差异后，可定位为宿主机层面问题：

• 冷启动调度验证：对CPU占用异常的实例多次执行停机-启动操作，每次启动后重复UDP压测，记录CPU占用变化。GCP冷启动会触发实例重新调度到新的宿主机，如果CPU负载随宿主机切换出现明显波动，可直接确认差异来自宿主机侧。
• 宿主机负载校验：提工单要求云厂商侧核对两台实例所在宿主机的以下指标：
  • 宿主机本地CPU steal time、网络面CPU负载
  • 宿主机网络超分比、同主机其他实例的UDP小包流量占比
  • Hypervisor层面的vCPU中断注入配置、虚拟网卡IO线程绑定配置
    宿主机网络面负载过高时，会将部分包处理开销下沉到实例vCPU侧，该开销在UDP小包场景下的感知远强于TCP场景。

快速根因验证方法 #

• 调整UDP包长测试：将iperf3测试参数的-l 32B调整为-l 1472B（标准以太网MTU下最大UDP包长）重新压测，如果大包场景下两台实例CPU负载差基本消失，可确认差异来自小包收包路径的队列、卸载开关或宿主机网络面开销——大包场景下单位流量的包数量大幅降低，路径开销的差值会被直接抹平。
• 开启busy poll测试：在两台实例执行sysctl -w net.core.busy_poll=50 net.core.busy_read=50后重新压测，如果CPU负载差明显缩小，说明差异出在软中断唤醒、宿主机中断注入的延迟路径上。

内容的提问来源于stack exchange，提问作者chandrasekhar musti