使用Accelerate+FSDP微调LLM时遇ChildFailedError问题求助

问题根源 #

你遇到的torch.distributed.elastic.multiprocessing.errors.ChildFailedError本质是split_batches模式下的批次分配逻辑冲突：当开启split_batches时，Accelerate会把一个完整批次拆分后分配给每个进程处理，要求总批次大小必须是进程数的整数倍，否则无法均匀拆分，直接触发报错。你的场景里批次大小是8，进程数是3，8无法被3整除，所以出现这个问题。

具体解决方法 #

• 调整批次大小：把总batch size改成进程数的整数倍，比如进程数是3，就设为9、12这类数值。如果用的是Hugging Face的Trainer，可以在TrainingArguments里修改per_device_train_batch_size，再结合gradient_accumulation_steps算出总batch size，确保总batch size能被进程数整除。
• 关闭split_batches模式：如果不想调整批次大小，直接在Accelerate配置里禁用split_batches：
  1. 重新运行accelerate config，在询问是否启用split_batches时选择No；
  2. 或者直接修改生成的accelerate_config.yaml文件，把split_batches: true改成split_batches: false；
  3. 也可以在初始化Accelerator对象时显式指定：accelerator = Accelerator(split_batches=False)

  注意：关闭split_batches后，每个进程会处理完整的批次，可能导致数据重复训练，非必要不建议这么做。

• 调整进程数：检查你的Accelerate配置或启动命令里的进程数设置（比如accelerate launch --num_processes 3 ...），如果硬件允许，把进程数改成能整除当前批次大小的数值（比如2、4），这样不用改批次大小就能解决问题。

验证步骤 #

改完配置或参数后，先运行Accelerate的基础测试脚本，确认报错消失；再重新启动LLM微调任务，验证问题是否解决。

内容的提问来源于stack exchange，提问作者Dia-di