AWS SageMaker训练XGBoost模型时CSV加载失败问题求助

核心排查方向 #

错误提示说明SageMaker的XGBoost容器读取CSV时无法识别逗号作为分隔符，问题大概率出在数据导出、处理或上传环节，按以下步骤逐一验证：

1. 检查Google Sheet导出的原始CSV格式 #

• 确认导出时选择的是**逗号分隔值(.csv)**格式，而非制表符分隔(.tsv)或区域设置导致的分号分隔格式（部分地区默认用分号）。
• 直接用文本编辑器打开本地products.csv，逐行检查：
  • 每行是否用逗号分隔字段，有没有单元格包含未转义的逗号（比如带逗号的商品名称，Google Sheet导出时会用引号包裹，这是正常的，但如果没包裹就会导致格式错乱）。
  • 有没有空行、换行符异常的行。

2. 验证DataFrame处理与保存环节 #

• 拆分训练集后，保存时的代码是否正确？如果用df.to_csv()，注意以下两点：
  • 不要修改默认分隔符（默认是逗号），如果手动设置了sep参数为其他值会直接导致错误。
  • 如果你加载CSV时用了index_col=0，保存训练集时建议加上index=False，避免把原索引列导出为额外字段，导致部分行格式不符合预期：

    # 正确示例：不导出索引列
    train_df.to_csv('train.csv', index=False)
    

• 保存后打开本地train.csv，确认每行的字段数一致，没有格式错乱的行。

3. 检查S3上传后的文件完整性 #

• 从S3存储桶下载训练集文件，和本地保存的版本对比MD5值，确认上传过程中没有文件损坏。
• 用S3控制台直接预览文件，检查是否存在乱码、换行符转换异常（比如Windows换行符转成Unix换行符一般没问题，但极端情况可能导致行识别错误）。

4. 确认SageMaker输入配置与训练脚本 #

• 检查s3_input_train的配置，确保没有错误指定内容类型（默认text/csv即可，不需要额外修改，除非你确实用了其他分隔符）。
• 如果是自定义训练脚本，确认脚本中读取CSV时没有修改分隔符，比如XGBoost的DMatrix默认用逗号分隔，不要手动指定delimiter为其他值。

额外验证：编码问题 #

Google Sheet导出的CSV可能带UTF-8 BOM，加载时如果没指定编码会导致隐藏字符，建议加载时加上encoding='utf-8-sig'：

pd.read_csv('./products.csv', index_col=0, encoding='utf-8-sig')

内容的提问来源于stack exchange，提问作者FLAK-ZOSO