节点作为集群的基础设施，其工作状态对用户来说至关重要。火山引擎容器团队自研节点检查和自愈功能，面向节点进行常见故障检测和故障自愈。本文为您介绍如何配置节点检查自愈功能。

背景信息

检查自愈流程

容器服务支持节点检查自愈功能，系统会按照规则配置，定期进行节点检查。当节点故障时，会记录 Node Event 事件，并执行自愈动作。

• 故障检测：系统通过主动探测节点故障和监听 ECS 运维事件来感知节点故障的产生，支持基于节点状态生成 Kubernetes 日志，并向监控系统上报故障，方便用户第一时间了解故障信息。
• 止血流程：系统会进行业务止血操作，包括：封锁节点 和 排干节点，缩小故障影响面，并支持在完成对应操作后进行流程干预，为故障节点添加指定标签，方便用户对故障节点进行查找和处理。
• 自愈流程：系统会重启故障进程或故障节点，尝试解决故障。完成后进行自愈结果检查。如果故障已恢复，则解除节点封锁，恢复节点的正常调度。

节点检查自愈的工作流程，如下图所示。

自愈检查项

GPU 故障

GPU 故障场景支持 提示异常、封锁节点、排干节点 和 自动修复 故障处理策略，不同检查项对应的 Event 和自动修复策略，如下表所示。

节点故障

节点故障场景支持 提示异常、封锁节点、排干节点 和 自动修复 故障处理策略，不同检查项对应的 Event 和自动修复策略，如下表所示。

系统与组件故障

系统与组件故障场景支持 提示异常 和 自动修复 故障处理策略，不同检查项对应的 Event 和自动修复策略，如下表所示。

节点故障指标

节点检查自愈功能支持将节点故障基于指标的形式暴露给监控系统，您可以基于指标和标签追溯故障时间并定位到具体的资源。如需使用，请在集群中开启云原生观测功能。详情请参见 步骤三：（可选）开启云原生观测。

节点故障指标说明，如下表所示。

节点故障指标中，不同故障对应不同的取值，详情如下表所示。

检查自愈事件

节点池绑定检查自愈规则后，系统会按照规则配置，定期进行节点检查。当节点故障时，会记录 Node Event 事件。您可以在 事件中心 查看对应的事件。检查项和事件的对应关系，如下表所示。

前提条件

• 已在集群中安装 node-problem-detector 组件，并升级至 v0.8.19-vke.3 及以上版本。详情请参见 安装组件。
• （可选）已创建托管 Prometheus 工作区，详情请参见 创建通用工作区。

操作步骤

步骤一：配置检查自愈规则

1. 登录 容器服务控制台。
2. 单击左侧导航栏中的 集群。
3. 在集群列表页面，单击目标集群，进入集群管理页面。
4. 在集群管理页面的左侧导航栏中选择 检查自愈，单击 创建检查和自愈规则，创建检查自愈规则。
   

   配置项	说明
   规则名称	配置检查自愈规则的名称。同一个集群下，规则名称必须唯一。
   检测自愈规则
   故障类型	选择需要进行检测的故障类型，支持：GPU 故障、节点故障 和 系统与组件故障。
   检查项	在指定故障类型下，选择需要进行检测的项目。不同类型的故障支持不同的检查项。详情请参见 自愈检查项。
   故障处理方式	选择故障自动处理方式，包括： 提示异常：仅包含 提示异常 流程。 封锁节点：包含 提示异常、（可选）流程干预 和 封锁节点 流程。 排干节点：包含 提示异常、（可选）流程干预、封锁节点 和 排干节点 流程。 自动修复：包含 提示异常、（可选）流程干预、封锁节点、排干节点、自动恢复 和 （可选）解除封锁 流程。

5. 配置故障处理流程。
   • 提示异常：节点发生故障时，系统会将故障信息转化为监控指标，您可以使用云原生观测功能获取指标信息，并在托管 Prometheus 产品中查看对应的指标。详情请参见 节点故障指标。
   • 流程干预：开启该功能后，系统会在前置步骤完成后，为节点添加指定的标签，用于标识发生故障的节点。您可以基于标签筛选指定的节点，进行人工干预和故障处理。
     
   • 封锁节点：节点发生故障时，为节点添加 NoSchedule 污点，禁止调度新的 Pod 到该节点。
   • 排干节点：节点发生故障时，为节点添加 NoExecute 污点，并驱逐节点上的所有 Pod。

     配置项	说明
     禁止调度	配置从节点被封锁到开始进行 Pod 驱逐的时间。支持多种时间段选择，包括：立刻、15 分钟、30 分钟、1 小时、2 小时、3 小时、6 小时、12 小时、24 小时、36 小时、2 天、3 天、4 天、5 天、6 天、7 天等。 注意 节点排干前会检查节点是否运行了以下工作负载，您需要确保节点上不存在这些工作负载，否则将不会进行节点排干的操作： ingress-controller Pod。 强绑定节点的工作负载。 单副本的工作负载。 Static Pod。 节点排干不能完全保证终止/驱离节点上的工作负载，如果有工作负载无法被驱离，在不进行人工干预的前提下，将不会执行下一步自愈操作直至强制重启（若配置强制重启时间）。

   • 自动恢复：当开启该功能时。系统在节点排干后会尝试修复节点故障，完成自愈。

     配置项	说明
     必要时重启 ECS	不同故障的自动修复操作不同，详情请参见 自愈检查项。勾选该配置时，除自动修复操作外，会自动重启节点。 配置从节点排干到重启节点的等待时间，包括：立即、30 分钟、1 小时、2 小时、3 小时、6 小时等。

   • 解除封锁：节点重启并修复故障后，是否自动解除封锁。当开启该功能时，节点重启后系统会再次进行健康检查，当所有检测项均无异常时，将解除节点封锁。

     注意

     系统仅能确保的已有检测项无异常，若发生超出节点检测项范围的故障，仍有可能导致训练或推理任务运行异常，如果自愈流程完成后，仍然存在问题，请 提交工单 获取技术支持。

6. 配置完成后，仔细阅读 注意事项，并勾选 我已知晓并同意，单击 确定，完成配置。

步骤二：节点池绑定检查自愈规则

您可以在创建节点池时绑定检查自愈规则，也可以为存量节点池绑定检查自愈规则。本文以创建节点池时绑定检查自愈规则为例。

1. 在集群管理页面的左侧导航栏，选择 节点管理 > 节点池，单击 创建节点池，创建新的节点池。
2. 在弹出的对话框内选择 托管节点池。
   
3. 配置节点池详情，在 运维配置 处启用 检查和自愈 功能，并绑定检查自愈规则。
   

   配置项	说明
   检查和自愈	配置是否开启节点检查自愈功能。 开启：通过配置节点自愈规则，系统会自动检查节点状态，当节点故障时及时进行处理和自愈。 关闭：（默认）不开启节点检查自愈功能。
   检查和自愈规则	配置检查自愈规则： 推荐规则：使用系统默认的推荐规则，详情请参见 推荐规则。 自定义规则：使用用户的自定义规则，请在下拉菜单中选择已配置的检查自愈规则。

   说明

   节点池的其他配置详情，请参见 创建节点池。

4. 单击 确定，完成绑定。

步骤三：（可选）开启云原生观测

如果您需要使用 节点故障指标 获取节点的状态，需要开启云原生观测功能，操作步骤如下：

1. 为集群绑定托管 Prometheus 工作区，安装 Prometheus-agnet 组件，并开启云原生观测。详情请参见 开启观测。
2. 开启检查自愈观测，详情请参见 检查自愈观测。

结果验证

查看检查自愈规则

1. 在集群管理页面的左侧导航栏中，单击 检查自愈。
2. 在自愈规则列表中，单击检查自愈规则名称，即可查看规则的详情。
   

查看自愈任务详情

当节点发生故障，并完成自愈后，您可以在节点详情页面中查看自愈任务列表和自愈详情。

1. 在集群管理页面的左侧导航栏，选择 节点。
2. 单击目标节点名称，进入节点详情页面。
3. 选择 故障自愈 页签，即可查看当前节点的故障自愈任务列表。
   
4. 单击自愈任务名称，支持查看当前节点的自愈详情。