AWS SageMaker中T5条件生成模型脚本训练无学习效果求助

• 核对参数传递一致性
  直接在Notebook运行时的参数（如epoch数、batch size、学习率），要确保通过Estimator的hyperparameters参数完整传入train.py。在train.py开头添加日志打印所有接收的参数：

  import argparse
  parser = argparse.ArgumentParser()
  # 你的参数定义
  args = parser.parse_args()
  print(f"Received training parameters: {vars(args)}")
  

  对比Notebook直接运行时的参数，确认没有遗漏或错误（比如误将num_train_epochs设为1甚至0）。

• 验证数据集加载有效性
  检查train.py中S3数据集的读取逻辑：

  1. 确认S3路径是否正确，SageMaker执行角色是否拥有该S3桶的读取权限；
  2. 在train.py中打印训练集样本数量：

     print(f"Training dataset size: {len(train_dataset)}")
     

  如果样本数量远小于预期，排查数据格式是否兼容（比如csv分隔符错误、json结构不匹配），或数据集路径指向了空文件夹。

• 检查训练循环执行逻辑
  在训练循环的关键节点添加日志，确认循环是否正常执行：

  print("Starting training loop...")
  for epoch in range(args.num_train_epochs):
      print(f"Epoch {epoch+1}/{args.num_train_epochs} started")
      # 训练步骤
      train_loss = trainer.train()
      print(f"Epoch {epoch+1} loss: {train_loss}")
  print("Training loop completed")
  

  如果没有输出epoch相关日志，说明训练循环未触发——检查是否存在条件判断跳过了循环（比如数据集为空时直接退出），或代码缩进错误导致循环未执行。

• 确认Estimator资源配置
  对比Notebook使用的实例类型与Estimator指定的instance_type，避免使用性能过低的实例（如ml.t2.micro）导致训练异常。同时确认instance_count设置正确（单卡训练设为1），如果是分布式训练，需检查分布式配置是否与train.py兼容。

• 对齐环境依赖版本
  确保Estimator使用的镜像环境与Notebook的依赖版本一致（如Transformers、Datasets、PyTorch/TensorFlow版本）。在train.py中打印依赖版本：

  import transformers
  import datasets
  print(f"Transformers version: {transformers.__version__}")
  print(f"Datasets version: {datasets.__version__}")
  

  若版本不一致，可通过指定Hugging Face官方镜像或在requirements.txt中锁定版本解决。

• 排查模型保存逻辑
  确认train.py中是否在训练前就提前保存了模型，或训练后未覆盖预训练模型文件。检查模型保存的代码位置，确保是在训练循环结束后执行保存操作。

内容的提问来源于stack exchange，提问作者Ashwanth Karibindi