## 什么是XID？ XID是指“X Error ID”，是NVIDIA驱动程序生成的错误代码，用于标识在GPU操作期间发生的错误。XID通常与GPU硬件或驱动程序中的错误相关，例如内存错误、电源问题、温度过高等。 ## 问题现象当GPU检测到错误时，它会生成一个XID并记录在操作系统内核日志或事件日志中，XID错误信息示例如下所示： ```Bash ;;;MSG=An nvidia xid 13 error has occurred. ``` * ``：GPU设备标识。 * ``：错误事件发生的时间。 * ``：XID错误代码。 * `MSG`：XID错误描述。 ### 查看XID信息 1. [登录实例](https://www.volcengine.com/docs/6396/81032)。 2. 执行如下命令。 ```Bash cat /var/log/messages | grep "Xid (PCI" cat /var/log/kern.log | grep "Xid (PCI" ``` 结果如下图所示。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_93fc78005749205da81bdbbb51f0a76f.jpg =415x) 您可以参考[常见XID处理方法](#Rtznt7dq)和[其他XID处理方式](#QgLZcUtZ)自行排查解决，若问题仍无法解决，可收集bug\-report文件后[提交工单](https://console.volcengine.com/ticket/createTicketV2/)反馈。关于如何收集bug\-report文件，请参见[如何收集NVIDIA日志？](https://www.volcengine.com/docs/6419/839699#.5aaC5L2V5pS26ZuGbnZpZGlh5pel5b-X77yf) ## 常见XID处理方法 |**XID错误代码** |**说明** |**是否产生故障事件** |**处理建议** | |---|---|---|---| |13 |* 此事件记录用户应用程序的常规故障。通常是由程序访问越界（Graphics Engine Exception）引发，但也可能源于非法指令、非法寄存器或其他异常情况。|否|* 若仅单次出现Xid 13错误，建议重新启动应用程序以恢复正常运行。|\ | |* 极少数情况下，硬件故障或系统软件错误也可能表现为Xid 13错误。| |* 若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug\-report并[提交工单](https://console.volcengine.com/ticket/createTicketV2/)，以便进一步排查处理。|\ | || ||\ | | | | | |31 |* 当芯片上的应用单元因非法地址访问等操作触发MMU报错（GPU memory page fault）时，系统会记录此事件。|否|* 若仅单次出现Xid 31错误，建议重新启动应用程序以恢复正常运行。|\ | |* 此类错误通常由应用程序层面的缺陷导致，但也可能源于驱动程序故障或硬件问题。 | |* 若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug\-report并[提交工单](https://console.volcengine.com/ticket/createTicketV2/)，以便进一步排查处理。 | |43 |* 当用户应用程序触发软件层故障而必须终止（GPU stopped processing）时，会记录此事件。此时GPU仍处于正常运行状态。| 否 |无需处理 |\ | |* 大多数情况下，此事件并非程序缺陷所致，而是由用户应用程序错误引发。 | | | |45 |* 当用户应用程序中止，且内核驱动程序清除GPU上对应的应用进程时，会触发此事件。例如，按下Control\-C、GPU重置、接收sigkill信号等导致应用中止的的场景，均会生成该事件。| 否 |无需处理 |\ | |* 多数情况下，此事件并非程序缺陷所致，而是用户主动操作或系统行为所致。 | | | |48 |当GPU检测到不可纠正的ECC错误（DBE，Double Bit ECC Error）时，会记录此事件，且该情况也会反馈给应用程序。 |否 |* 若仅单次出现Xid 48错误，建议重新启动GPU云服务器以恢复正常运行。|\ | | | |* 若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug\-report并[提交工单](https://console.volcengine.com/ticket/createTicketV2/)，以便进一步排查处理。 | |63 |当应用程序触发GPU显存硬件错误时，NVIDIA自纠错机制会对错误内存区域执行Retire（停用）或Remap（重映射）操作；由于Retire和Remap的配置信息需写入infoROM才能永久生效，因此此事件（ECC page retirement or row remapping recording event）代表上述错误区域的Retire或Remap信息已成功记录至infoROM。 |否 |无需处理 | |64 |与Xid 63的触发场景类似，只是Xid 63代表Retirement Remapped信息成功记录到infoROM，Xid 64代表该记录操作失败（ECC page retirement or row remapper recording failure）。 |否 |重新启动GPU云服务器恢复。 | |74 |* 当GPU检测到通过NVLink与另一GPU或NVSwitch的连接出现问题时（Fatal NVLINK Error），系统将记录此事件。|是 |* 该Xid错误经判定由硬件故障引发。云监控服务已具备对此类故障的自动发现与处理能力，在获得用户授权后，可通过自动执行事件冷迁移操作完成恢复。|\ | |* 该事件表明链路本身存在硬件故障，也可能指向链路远端设备的问题。| |* 若故障机器未安装或未启用云监控服务，则需[提交工单](https://console.volcengine.com/ticket/createTicketV2/)处理。|\ | || ||\ | | | | | |79 |GPU硬件掉卡，已无法从总线上检测到。收到此事件（GPU has fallen off the bus）表明GPU已经出现严重硬件故障，需下线维修。 |是 |* 该Xid错误经判定由硬件故障引发。云监控服务已具备对此类故障的自动发现与处理能力，在获得用户授权后，可通过自动执行事件冷迁移操作完成恢复。|\ | | | |* 若故障机器未安装或未启用云监控服务，则需[提交工单](https://console.volcengine.com/ticket/createTicketV2/)处理。 | |94|* 当应用程序触发GPU显存不可纠正的ECC错误时，NVIDIA错误抑制（contained）机制会将错误抑制在当前已出现问题的应用程序内，不会让错误影响GPU上其他应用程序。|否 |* 若仅单次出现Xid 94错误，建议重新启动应用程序以恢复正常运行。|\ | |* 当抑制机制成功抑制错误时，会产生Xid 94事件，仅影响触发了不可纠正ECC错误的应用程序（Contained ECC error）。 | |* 若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug\-report并[提交工单](https://console.volcengine.com/ticket/createTicketV2/)，以便进一步排查处理。 | |95|与Xid 94 Error为同一类事件，代表抑制失败，此时表明运行在该GPU上的所有应用程序都已受到影响，受影响的GPU必须重置后，应用程序才能重新启动（Uncontained ECC error）。 |否 |* 若仅单次出现Xid 95错误，建议重新启动GPU云服务器以恢复正常运行。|\ | | | |* 若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug\-report并[提交工单](https://console.volcengine.com/ticket/createTicketV2/)，以便进一步排查处理。 | |119 |等待GSP核心响应RPC消息时发生超时（GSP RPC Timeout）。 |否 |* 若仅单次出现Xid 119错误，建议重新启动GPU云服务器以恢复正常运行。|\ | | | |* 若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug\-report并[提交工单](https://console.volcengine.com/ticket/createTicketV2/)，以便进一步排查处理。 | |120 |GPU的GSP核心运行代码时发生出错（GSP Error）。 |否 |* 若仅单次出现Xid 120错误，建议重新启动GPU云服务器以恢复正常运行。|\ | | | |* 若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug\-report并[提交工单](https://console.volcengine.com/ticket/createTicketV2/)，以便进一步排查处理。 | |140 |当GPU驱动程序在GPU内存中检测到不可纠正的错误，且这些错误导致驱动程序无法标记页面以进行动态页面下线或行重新映射的能力时，可能会发生此事件（Unrecovered ECC Error）。|否 |* 若仅单次出现Xid140错误，建议重新启动GPU云服务器以恢复正常运行。|\ | | | |* 若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug\-report并[提交工单](https://console.volcengine.com/ticket/createTicketV2/)，以便进一步排查处理。 | ## 其他XID处理方式当遇到非典型XID Error时，建议先参考NVIDIA官网的[Xid Error](https://docs.nvidia.com/deploy/xid-errors/index.html)文档尝试自行排查解决。若问题仍无法解决，可收集bug\-report文件后[提交工单](https://console.volcengine.com/ticket/createTicketV2/)反馈。