CNN中使用全局求和池化替代全局平均池化的相关问题咨询

• 你理解的「常数缩放」存在误差：当前实现的缩放系数不是全局固定常数，是随输入特征图尺寸动态变化的。比如输入特征图边长为8时缩放系数是512，边长为32时缩放系数达到32768，不同尺寸样本的缩放幅度差可达几十上百倍，batch内不同样本的输出值、梯度幅度差异过大，自然容易触发梯度爆炸出现nan。
• 实现层面存在不必要的数值风险：调用numpy计算三次方再回传给PyTorch张量做乘法，虽然不会直接报错，但额外的类型转换会降低运行效率，也存在潜在的数值精度丢失问题。

• 优先选择更简洁的全局求和池化实现，不需要绕自适应平均池化再做乘法，直接对特征维度求和即可，数值稳定性更好：

def forward(self, x):
    features = self.features(x)
    out = F.relu(features, inplace=True)
    # 3D特征直接对最后三个空间维度求和，得到全局求和结果
    out = out.sum(dim=(-3, -2, -1), keepdim=True)
    out = torch.flatten(out, 1)
    out = self.classifier(out)
    return out

• 如果是为了解决零填充导致全局平均池化结果偏移的问题，不一定非要换求和池化：可以在做平均池化时统计特征图内的非零元素数量，用总求和值除以非零元素数量得到无偏平均，既保留了平均池化的数值稳定性，又不会受零填充影响。
• 坚持使用求和池化的前提下，可以通过两个方式解决收敛慢的问题：一是在ReLU层后、求和池化前增加层归一化，把单样本的特征数值范围压缩到稳定区间，避免求和后数值跨度过大；二是适当调高学习率，抵消BN层带来的梯度更新幅度抑制。

内容的提问来源于stack exchange，提问作者tobiuchiha