如何在Cityscapes训练TensorFlow Deeplab模型？多GPU训练精度咨询

首先明确：4块11GB GPU（每块batch=2，总batch=8）完全可以把DeepLab Xception-65训练到Cityscapes的合理精度（单尺度训练通常能到70%+ mIoU，多尺度测试能到72%+）。你的mIoU＜30%明显是训练流程出了问题，下面是常见的原因和解决办法：

• 核心参数配置错误

  1. 未指定正确数据集：如果训练命令里没加--dataset="cityscapes"，模型会默认使用PASCAL VOC数据集的配置，用VOC的类别去训练Cityscapes的数据，精度肯定会极低。这是最常见的坑，一定要检查。
  2. 空洞卷积参数不匹配：Xception-65的atrous_rates必须和output_stride对应，比如output_stride=16对应6,12,18，output_stride=8对应12,24,36。参数不匹配会让空洞卷积完全失效，模型特征提取能力骤降。
  3. 裁剪尺寸过小：Cityscapes原始图像是1024x2048，标准训练裁剪尺寸是769x769，如果用了太小的尺寸（比如321x321），模型看不到足够的上下文信息，也会导致精度崩盘。

• 数据预处理问题

  1. TFRecord转换错误：运行转换脚本时如果有警告或错误，或者转换后的TFRecord样本标注和图像不对应（比如标签颜色混乱），都会让模型学不到有效特征。你可以写个小脚本可视化几个TFRecord样本，确认图像和标注的对应关系。
  2. 数据增强异常：DeepLab默认有随机裁剪、随机水平翻转的增强，如果这些被意外关闭，模型泛化能力会下降，但一般不会导致IoU＜30%，不过也可以确认下代码里的增强逻辑是否正常。

• 预训练权重与初始化问题

  1. 未加载预训练权重：如果从头开始训练，虽然最终能收敛，但90000步可能还没到最佳状态，而且前期IoU提升极慢。建议加载在ImageNet上预训练的Xception-65权重，训练时加上这几个参数：

     --checkpoint_path=./pretrained_models/xception_65_coco_pretrained \
     --initialize_last_layer=False \
     --last_layers_contain_logits_only=True
     

     这样模型会先微调前面的特征提取层，再训练最后一层分类头，收敛速度和精度都会好很多。
  2. 加载了错误的预训练权重：比如加载了PASCAL VOC的权重但没重置最后一层，模型会用VOC的类别逻辑去拟合Cityscapes，自然无法收敛。

• 多GPU训练的细节问题

  1. 梯度同步与克隆数配置：确认命令里加了--num_clones=4，确保每块GPU对应一个克隆，梯度能正常同步更新。如果克隆数设置不对，可能导致每块GPU的batch size异常，影响训练稳定性。
  2. 学习率调整：多GPU训练时，学习率要根据总batch size线性缩放。DeepLab默认的学习率是0.0001（针对单GPU batch=2），你总batch=8的话，建议把学习率调到--learning_rate=0.0004，这样模型的更新步长才匹配当前的batch规模，避免学习率太低导致收敛极慢，或者太高导致震荡。

• 日志与可视化排查

  1. 查看训练日志的损失变化：正常情况下，损失会从初始的10+逐渐降到1左右，如果损失一直居高不下（比如大于5），说明模型根本没在学习；如果损失降到某个值后不再变化，可能陷入了局部最优。
  2. 用TensorBoard看预测样本：如果模型的预测结果全是背景或者某一类，说明标签映射错误，或者输出层初始化有问题，这时候要检查数据集的类别映射文件是否正确。

内容的提问来源于stack exchange，提问作者Magnus W