Stable Baselines3 A2C调用model.learn()重复创建SB3文件夹问题求助

这种情况通常是因为model.learn()默认启用了自动保存或日志生成功能，导致每次episode触发新的目录创建，可通过以下方式解决：

1. 调整自动保存参数 #

• 若无需自动保存模型，直接将save_freq设为0，彻底关闭自动保存：

  model.learn(total_timesteps=10000, save_freq=0)
  

• 若需要保存模型，指定固定的save_path并设置合理的save_freq（按时间步而非episode触发保存）：

  model.learn(total_timesteps=10000, save_freq=1000, save_path="./fixed_a2c_model_dir")
  

  模型会统一保存到指定目录，不再生成日期命名的新文件夹。

2. 检查自定义回调配置 #

如果使用了CheckpointCallback等自定义回调，确保未设置动态生成目录的逻辑。正确的固定目录保存示例：

from stable_baselines3.common.callbacks import CheckpointCallback

checkpoint_callback = CheckpointCallback(
    save_freq=1000,
    save_path="./a2c_checkpoints",
    name_prefix="a2c_model"
)
model.learn(total_timesteps=10000, callback=checkpoint_callback)

回调会将模型以a2c_model_xxx.zip格式保存到指定目录，不会创建新的日期文件夹。

3. 固定TensorBoard日志目录 #

若开启了TensorBoard日志，默认会生成logs/SB3-日期目录。手动指定固定日志路径即可避免：

model.learn(total_timesteps=10000, tensorboard_log="./a2c_tensorboard_logs")

内容的提问来源于stack exchange，提问作者Y MG