SageMaker XGBoost模型训练报错求助：UnexpectedStatusException排查

报错信息 #

UnexpectedStatusException: Error for Training job demo-xgboost-venn-2024-02-05-11-57-23-767: Failed. Reason: AlgorithmError: framework error:
Traceback (most recent call last):
File "/miniconda3/lib/python3.6/site-packages/sagemaker_containers/_trainer.py", line 84, in train
entrypoint()
File "/miniconda3/lib/python3.6/site-packages/sagemaker_xgboost_container/training.py", line 94, in main
train(framework.training_env())
File "/miniconda3/lib/python3.6/site-packages/sagemaker_xgboost_container/training.py", line 90, in train
run_algorithm_mode()
File "/miniconda3/lib/python3.6/site-packages/sagemaker_xgboost_container/training.py", line 68, in run_algorithm_mode
checkpoint_config=checkpoint_config
File "/miniconda3/lib/python3.6/site-packages/sagemaker_xgboost_container/algorithm_mode/train.py", line 105, in sagemaker_train
train_dmatrix, val_dmatrix = get_validated_dmatrices(train_path, val_path, file_type, csv_weights, is_pipe)
File "/miniconda3/lib/python3.6/site-packages/sagemaker_xgboost_container/algorithm_mode/train.py", line 61, in get_validated_dmatrices
if train_files

核心问题分析 #

报错卡在get_validated_dmatrices函数的train_files校验环节，说明训练数据的读取、路径或格式不符合SageMaker XGBoost容器的要求。

排查与解决步骤 #

• 检查训练数据路径有效性
  确认训练任务指定的train_path指向S3上的非空路径，路径下必须包含至少一个符合格式的数据文件。如果使用管道模式（is_pipe=True），需验证数据源的管道配置无权限或连接异常。
• 校验数据文件格式
  • 若为CSV格式：确保文件无损坏，每行字段数量一致，标签列为数值类型，无缺失值或非法字符；若启用csv_weights，需确认权重列存在且为有效数值。
  • 若为LibSVM格式：检查文件是否遵循<label> <index1>:<value1> <index2>:<value2>规范，索引无重复或异常跳跃。
• 验证数据访问权限
  确认SageMaker执行角色拥有目标S3路径的s3:GetObject和s3:ListBucket权限，避免因权限不足导致无法读取文件。
• 获取完整报错日志
  当前日志被截断，前往SageMaker控制台的训练任务日志页面，查看if train_files之后的完整错误信息（如文件不存在、格式错误等），直接定位问题根源。
• 本地验证数据可用性
  将S3上的训练数据下载到本地，用XGBoost的DMatrix直接读取测试，排除数据本身的加载问题。

内容的提问来源于stack exchange，提问作者SomajB