禁用CNN Padding后模型无法学习SLIC分割的问题求助

可能的核心原因 #

• 空间感受野的边界信息缺失：尽管输入包含XY通道，但无padding的卷积层对边缘像素只能提取单侧邻域特征，无法覆盖SLIC聚类所需的完整局部相似性范围。边缘像素的特征表达不完整，导致模型无法区分精细的聚类类别，最终只能合并为少数大类。
• 特征图尺寸收缩的累积影响：每一层无padding卷积都会缩小特征图尺寸（例如3x3卷积会让每边减少2像素），多层堆叠后特征图空间分辨率大幅下降，丢失了SLIC依赖的像素级局部细节。而随机森林、线性分类器直接基于原始像素特征计算，不受尺寸收缩影响。
• 梯度传播的边界偏差：无padding时，边缘位置的梯度仅来自单侧邻域，梯度更新方向存在系统性偏差，导致模型权重无法正确拟合SLIC的聚类模式。可微性本身没有问题，但梯度分布在边界与内部区域不一致，造成训练不稳定。

可开展的调试实验 #

• 对比单卷积层的特征分布：分别提取有/无padding下单卷积层的边缘、内部像素特征向量，查看边缘特征是否出现明显偏移或分布异常。
• 固定特征图尺寸训练：使用stride=1的卷积，配合转置卷积或上采样保持每一层特征图尺寸与输入一致，验证特征图收缩是否为核心问题。
• 单独训练边缘区域：裁剪图像边缘区域进行单独训练，观察模型是否能学习到该区域的SLIC分割模式，验证边界感受野缺失的影响。
• 替换卷积为像素级全连接层：用不对像素空间关系做约束的全连接层（对每个像素单独处理）替代卷积层，看模型是否能正常收敛，排除卷积操作的空间限制问题。
• 调整损失函数权重：给边缘区域的损失赋予更高权重，或改用基于像素距离的损失（如MSE），引导模型关注边缘像素的聚类准确性。

内容的提问来源于stack exchange，提问作者Isaac Wasserman