StyleGAN2网络崩溃后，如何基于快照继续训练？

当然可以基于最后一次快照续训！StyleGAN2的官方文档虽然没明确提及，但它的训练框架本身是支持恢复训练的，我之前也碰到过服务器崩溃的糟心事，亲测这个方法可行。

具体步骤： #

1. 定位快照文件
   首先找到崩溃前生成的快照文件，一般在你的训练输出目录下（比如~/training-runs/00001-your-dataset/），会有两类关键文件：

   • network-snapshot-XXXXXX.pkl：仅保存生成器和判别器的权重
   • training-state-XXXXXX.pkl：包含网络权重+优化器状态（动量、学习率调度等），优先用这个文件续训，能让训练衔接更流畅，避免出现效果断层

2. 修改训练命令
   在原来的训练命令基础上，添加--resume参数指定快照路径即可。举个例子：

   # 原来的训练命令
   python train.py --outdir=~/training-runs --data=~/custom-dataset.zip --cfg=stylegan2 --mirror=1
   
   # 续训命令（优先用training-state文件）
   python train.py --outdir=~/training-runs --data=~/custom-dataset.zip --cfg=stylegan2 --mirror=1 --resume=~/training-runs/00001-your-dataset/training-state-003000.pkl
   
   # 仅能找到network-snapshot文件时的续训命令
   python train.py --outdir=~/training-runs --data=~/custom-dataset.zip --cfg=stylegan2 --mirror=1 --resume=~/training-runs/00001-your-dataset/network-snapshot-003000.pkl
   

3. 关键注意事项

   • 续训时必须保证数据集、超参数（分辨率、batch size、学习率、镜像设置等）和之前的训练完全一致，否则会出现报错或者训练效果异常的问题
   • 如果只能用network-snapshot续训，因为丢失了优化器状态，训练初期可能会出现生成质量波动，多迭代几千次后就能逐步回到之前的训练状态
   • 建议调整--snap参数（默认每1000次迭代保存一次快照），比如改成每500次保存一次，或者用服务器的定时任务（比如cron）定期备份快照目录，减少崩溃后的进度损失

内容的提问来源于stack exchange，提问作者FrostMarble