使用Simple Transformers训练MT5时GPU利用率为0%的微调问题求助

• 修正核心配置参数
  将代码中model_args.preprocess_inputs的值改为True，你当前设为False会强制在训练每步动态执行分词操作，CPU预处理瓶颈会直接导致GPU长时间空转等待数据。
  将model_args.no_cache改为False，开启预处理缓存，第一轮训练完成数据预处理后，后续轮次可直接读取缓存结果，无需重复执行CPU侧计算。
  新增配置model_args.dataloader_num_workers = 4（可根据CPU物理核心数调整，一般设为核心数的1/2即可），同时将model_args.use_multiprocessing改为True，通过多进程加载数据大幅提升CPU侧处理效率，匹配GPU计算速度。
• 验证依赖版本匹配
  你本地CUDA版本为11.3，需确认安装的PyTorch对应适配CUDA11.3，执行print(torch.version.cuda)查看输出是否为11.3，避免版本不匹配导致的计算调度异常。
• 调整批次大小提升资源利用率
  你使用的Quadro RTX 6000具备24GB显存，mt5-base在96序列长度配置下，可将train_batch_size上调至128甚至更高，更大的批次规模可避免小批量计算时GPU资源放空，有效提升平均利用率。

• 补充任务前缀：不要将prefix字段留空，mt5为多任务预训练模型，需匹配预训练阶段的任务格式，韩译英场景可统一将prefix设为"translate Korean to English"，英译韩对应调整即可，可大幅加快微调收敛速度，提升最终翻译效果。
• 优化训练超参数：新增配置model_args.learning_rate = 2e-4（mt5微调推荐学习率区间为1e-4~3e-4），同时添加model_args.max_grad_norm = 1.0开启梯度裁剪，避免训练过程中出现梯度爆炸问题。
• 精简存储配置：如果不需要保留训练过程中的评估 checkpoint，可将model_args.save_eval_checkpoints改为False，仅保留最终训练结果，既节省磁盘空间，也可避免频繁写盘打断训练流程，进一步提升GPU利用率。
• 加入标签平滑优化泛化性：新增配置model_args.label_smoothing = 0.1，可有效降低过拟合风险，提升翻译模型的泛化能力。

内容的提问来源于stack exchange，提问作者Shanha_Kim