## 背景信息 Nvidia Device Plugin 原生提供了 GPU 隔离能力，在节点中的 GPU 发生部分 XID 异常时，会自动隔离该 GPU，防止继续调度工作负载到异常 GPU 上，保证业务安全。但是在执行自动隔离操作后，Nvidia Device Plugin 不会自动恢复被隔离的 GPU，需要手工重启 Nvidia Device Plugin 才能恢复调度。因此，如果您没有及时处理被隔离的 GPU，或者隔离后剩余 GPU 数量不满足调度任务需要，都可能导致 GPU 资源闲置。 :::tip 关于 Nvidia Device Plugin 原生 GPU 隔离能力的更多信息，请参考 [官方文档](https://github.com/NVIDIA/k8s-device-plugin)。更多常见 XID 错误的处理方法，请参见 [NVIDIA GPU 常见 XID 错误处理方法](https://www.volcengine.com/docs/6419/1928467)。 ::: ## **影响版本** nvidia\-device\-plugin 组件 2.2.0 及以上版本。组件版本发布记录，请参见 [nvidia-device-plugin](https://www.volcengine.com/docs/6460/350800?lang=zh)。 ## **变更说明** nvidia\-device\-plugin 组件自 2.2.0 版本起，进行以下变更： * 默认关闭 XID 健康检查功能，不再基于部分 XID 异常自动隔离 GPU。如有需求，您可以在节点检查自愈中开启 GPU 故障自愈，自动处理 XID 异常场景。详情请参见 [配置节点检查自愈](https://www.volcengine.com/docs/6460/1148783)。 * 废弃`DCGM_CUSTOM_XID_ERRORS_TOTAL_COUNTER`和`DCGM_CUSTOM_XID_ERRORS_TOTAL_COUNTER`指标，替换为`DCGM_EXP_XID_ERRORS_COUNT`指标。 ## 配置方式如果您仍然需要基于 XID 异常的 GPU 隔离能力，可以在 nvidia\-device\-plugin 组件的配置中，手工修改默认配置。 1. 登录 [容器服务控制台](https://console.volcengine.com/vke)。 2. 在左侧导航栏中选择 **集群**，单击目标集群，进入集群管理页面。 3. 在左侧导航栏中，选择 **组件管理，并选择 GPU 页签。** 4. 将鼠标移动到 nvidia\-device\-plugin 组件上，单击 ** 配置**，手工取消 **关闭 XID 健康检查** 选项，开启 XID 异常 GPU 自动隔离功能。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_ffb4ff72235ce306136fd7d8aed8d7a8.png =757x) 5. 【推荐】开启云原生观测，并配置 GPU 告警规则，以便及时发现闲置 GPU 资源并处理。详情请参见 [AI 资源观测](https://www.volcengine.com/docs/6460/1214011)。