PyTorch环境下ImageNet训练CNN时小图像的上缩放方法及影响

• 基础插值法：最常用的包括最邻近插值、双线性插值、双三次插值三类，主流CV工具库都做了封装，直接调用接口即可，比如PyTorch生态下直接用torchvision.transforms.Resize()，指定目标尺寸和插值参数就能完成处理。如果你的CNN输入要求是224224，建议优先选双三次插值，边缘平滑度和细节保留度比另外两种基础方案更好*。
• 超分上采样法：算力充足的情况下可以先用预训练超分模型（如ESRGAN）把小图上采样到目标尺寸，还原的细节比传统插值更丰富，但会大幅增加预处理的时间成本。
• 填充替代方案：不想引入插值伪影的话，可以在小图的四周补0或者补ImageNet全局像素均值，直到达到目标输入尺寸。这种方案不会修改原始图像的有效像素，但会引入无意义的填充区域。

行业通用的ImageNet标准预处理pipeline默认采用双三次插值处理所有尺寸不匹配的图像，已经过大量学术和工业场景验证。

• 正面作用：上缩放是实现批量训练的必要操作，能保证小尺寸样本不会被直接丢弃，你可以完整使用ImageNet的全量数据，避免出现样本分布偏移的问题。
• 传统插值的负面影响：插值操作本身会引入平滑伪影，丢失原始小图的部分细节特征，会导致模型对低分辨率样本的特征提取能力下降，如果你的下游任务需要适配低分辨率输入，这个影响会被放大。
• 超分上采样的负面影响：虽然超分方案的细节还原度更高，但超分模型本身会引入生成偏差，相当于给原始数据额外增加了一层分布偏移，可能让CNN学到超分模型带来的伪特征，反而降低模型的泛化能力。
• 填充方案的负面影响：填充的无意义区域会分散模型的注意力，需要配合随机裁剪、注意力掩码等训练trick弱化填充区域的影响，否则会拉低模型的整体精度。

日常训练常规ImageNet分类模型的话，直接用双三次插值上采样到256256后再随机裁剪到224224是性价比最高的方案，平衡了效果和效率，不需要使用更复杂的处理逻辑。

内容的提问来源于stack exchange，提问作者omaralmaqtari