双GPU环境下推理过程中偶发黑屏问题排查求助

日志关键错误解析 #

从提供的内核日志来看，核心问题是PCIe事务层致命错误引发的GPU离线：

• CmpltTO（Completion Timeout）：PCIe链路中，数据传输的发起方未收到完成响应，触发了不可纠正的致命错误。
• Xid 79：NVIDIA驱动定义的错误码，对应GPU与主机的PCIe通信完全中断，系统判定GPU“掉总线”，进而引发黑屏卡死。

可能原因分析 #

1. NVIDIA Persistence Mode未启用 #

当persistence mode关闭时，NVIDIA GPU在闲置阶段会进入低功耗休眠状态，PCIe链路也会随之调整状态。在高负载推理场景下，GPU频繁在休眠/满负载状态间切换，容易导致PCIe链路协商异常，触发事务超时。启用该模式可让GPU保持持续供电状态，避免链路频繁启停。

2. PCIe链路稳定性不足 #

• 物理连接问题：GPU未完全插紧PCIe插槽、辅助供电线接触不良，会导致高负载时供电波动，干扰PCIe数据传输。
• 链路协商异常：主板PCIe根端口（日志中8086:1905为Intel根端口）与GPU的速率/宽度协商失败，高负载下传输带宽不足引发超时。
• 供电不足：主板PCIe插槽或电源功率不足以支撑GPU满负载运行，导致链路供电不稳定。

3. NVIDIA驱动兼容性缺陷 #

旧版本驱动对PCIe高级错误报告（AER）的处理逻辑不完善，无法在出现轻微链路错误时及时恢复，最终升级为致命错误。针对Xid 79这类PCIe相关错误，新版本驱动通常会修复对应bug。

4. 系统电源管理冲突 #

系统默认启用的PCIe主动电源管理（ASPM）会动态调整链路功耗状态，与GPU高负载时的持续带宽需求冲突，容易触发传输超时。可通过BIOS或内核参数禁用ASPM来避免此问题。

5. 硬件故障 #

若上述软件/配置调整后问题仍存在，需排查GPU本身的PCIe控制器故障、主板PCIe插槽损坏，或电源功率不足导致的高负载供电异常。

内容的提问来源于stack exchange，提问作者Amir