DeepLab v3+在WiSe数据集训练:损失持续下降但预测全为零的问题咨询
全零预测问题排查清单(按优先级从高到低)
1. 类别配置不对齐问题
- 核心逻辑:DeepLab 框架的
num_classes参数仅统计所有可预测的有效类别数量,和 ignore_label 没有任何关联,ignore_label 的作用只是将对应标签值的像素排除在损失计算范围外,不会增加可预测类别总数。 - 你当前的配置问题:
- 数据集注册时写的
num_classes=10,但实际标签的取值范围是 0-8,总共9个有效类别。这种配置下,模型最后一层logits的输出维度是10,损失计算时从未出现的第9类没有对应正样本,模型会直接把该类的预测概率压到趋近于0,为了降低损失,会优先把所有像素的预测概率集中到出现频率最高的背景类(索引0),直接导致输出全零。 - 导出模型时用了shell变量传参
--num_classes=${3},如果变量未被正确赋值,训练和导出阶段的类别数不匹配,图结构加载权重时会出现维度不兼容,TensorFlow 会自动给不匹配的层填充零权重,最终输出全零掩码。你之前试过把num_classes调整为9仍出现全零,大概率就是这个变量没有正确传递,实际传入导出脚本的类别数还是旧值10。
- 数据集注册时写的
- 解决方法:不管ignore_label配成多少,只要有效标签是0-8,训练、导出、推理三个环节的num_classes必须严格统一设为9,不要额外多设类别数,导出时直接硬编码9,不要依赖shell变量传参避免赋值失败。
2. 预训练权重加载逻辑错误问题
- 你当前修改的权重过滤逻辑存在明显漏洞:
- 官方脚本的
last_layers列表本身已经包含了最后logits层的权重,你在exclude_list里又单独加入了'logits'关键词,相当于双重过滤,导致最后分类头的权重从训练开始就是零初始化,没有加载任何预训练值。 - 搭配
last_layers_contain_logits_only=false的配置,解码器部分的深度可分离卷积、1x1卷积层也会被排除在加载范围外,这些层全部用随机小值初始化。
- 官方脚本的
- 这种配置下训练损失持续下降是正常现象:零初始化的最后一层,初始logits全为0时softmax输出所有类概率均等,对应的交叉熵损失约为2.19,和你观测到的step10损失约2.7、step100损失约1.9的变化趋势完全吻合;模型只需要把背景类的logits稍微拉高一点,就能让损失持续下降,但远没有学到能区分前景类的特征能力,自然会输出全零的背景掩码。
- 解决方法:删掉
exclude_list里重复添加的'logits'关键词,只保留global_step作为排除加载的关键词,不需要手动排除最后一层——因为num_classes和预训练模型的输出维度不匹配,框架本身会自动跳过维度不兼容的层,不会出现加载报错。
3. 数据集预处理校验问题
- 从tfrecord层面排查标签有效性:随机抽1-2个tfrecord样本解码出标签图,打印标签的唯一取值,确认所有标签值严格落在0-8的范围内,没有出现255、其他超出范围的数值。很多人做标签时把不同类别映射成8、16、32这类非连续值,导致标签值超出类别范围,所有像素都被判定为ignore_label,模型相当于一直在用无意义的标签训练,损失自然会缓慢下降,但根本学不到有效语义特征。
- 确认生成tfrecord时的标签通道:必须是单通道PNG格式的标签,不能带alpha通道、不能把标签值映射到0-255的灰度区间,否则标签值会和预期的类别索引完全错位。
- 如果标签值全部被判定为ignore_label,损失会收敛到接近0的水平,同时模型输出永远停留在初始的零值状态,这也是常见的全零预测诱因。
4. 训练与导出配置对齐问题
- 训练和导出阶段的所有结构参数必须完全一致:包括空洞率组合、输出步长、解码器输出步长、裁剪尺寸,只要有一个参数不匹配,导出的图结构和训练权重的维度就会不兼容,加载时会自动填充零权重。
- 不要在训练极早期判断模型效果:你现在导出的是step41的检查点,这个阶段总训练样本量才600多张,Xception-65骨干网络参数量达数千万,模型的特征提取能力还没充分训练,至少等训练到5000步以上、损失降到1.0以下再导出检查点做推理测试。
内容的提问来源于stack exchange,提问作者user46625
相关产品推荐
相关产品推荐

