Kubeflow部署BERT模型任务完成但K8s报main容器未就绪错误

排查思路 #

1. 首先修正代码中明显的变量名错误 #

你提供的Pipeline代码存在变量引用不匹配的问题，这是大概率导致任务卡住的直接原因：
你定义了四个拆分后的数据集变量为splits_A、splits_B、splits_C、splits_D，但在调用train_model_op时，传入的第一个参数分别写为了不存在的splits_acom、splits_shop、splits_suba、splits_soub，变量名完全不匹配，导致训练步骤始终无法获取到上游的输入数据集，进程卡在等待输入状态，自然会出现main容器未就绪的告警。
修正后的训练步骤调用应该为：

# Step 5: Train transformers model
train_model_op(splits_A.outputs["train"], splits_A.outputs["test"], "brand_A")\
    .set_memory_request('20G')\
    .set_memory_limit('23G')\
    .set_gpu_limit('1').add_node_selector_constraint('cloud.google.com/gke-accelerator', 'nvidia-tesla-t4')
train_model_op(splits_B.outputs["train"], splits_B.outputs["test"], "brand_B")\
    .set_memory_request('20G')\
    .set_memory_limit('23G')\
    .set_gpu_limit('1').add_node_selector_constraint('cloud.google.com/gke-accelerator', 'nvidia-tesla-t4')
train_model_op(splits_C.outputs["train"], splits_C.outputs["test"], "brand_C")\
    .set_memory_request('20G')\
    .set_memory_limit('23G')\
    .set_gpu_limit('1').add_node_selector_constraint('cloud.google.com/gke-accelerator', 'nvidia-tesla-t4')
train_model_op(splits_D.outputs["train"], splits_D.outputs["test"], "brand_D")\
    .set_memory_request('20G')\
    .set_memory_limit('23G')\
    .set_gpu_limit('1').add_node_selector_constraint('cloud.google.com/gke-accelerator', 'nvidia-tesla-t4')

2. 修正代码后若仍存在问题，按以下方向排查 #

• 检查训练函数逻辑：确认train_transformers_model函数执行完成后有显式退出，没有未关闭的子线程/子进程、死循环、异常捕获后未抛出的逻辑，所有输出文件已正常写入到指定的OutputPath路径。
• 排查容器运行状态：执行kubectl describe pod <异常Pod名称>查看Pod的Events字段，确认是否存在资源不足、GPU驱动不匹配、健康检查失败、镜像拉取超时等问题；执行kubectl logs <异常Pod名称> -c main查看主容器的完整日志，确认进程是否有报错输出。
• 核对资源配额：确认GKE节点池有足够的T4 GPU资源，四个并行训练任务需要至少4个可用的T4 GPU，若节点池GPU配额不足，任务会一直处于Pending状态导致容器未就绪。
• 检查KFP配置：确认Kubeflow Pipeline的artifact存储配置正常，训练步骤的输出产物可以正常写入到GCS存储桶，没有权限不足、路径不存在的问题。

内容的提问来源于stack exchange，提问作者Guilherme Giuliano Nicolau