为什么迁移学习输出不稳定？AlexNet提取Fc7层图像特征结果反复变化原因问询

• 模型未切换到评估模式
  预训练AlexNet结构内置Dropout层，训练阶段Dropout会随机失活一定比例的神经元避免过拟合。如果提取特征前未将模型切换到评估状态：PyTorch框架下对应调用model.eval()方法，TensorFlow/Keras框架下对应前向传播时传入training=False参数，Dropout层会保持随机失活逻辑，每次前向传播的计算路径存在差异，会直接导致输出的4096维特征每次都发生变化，这是该问题最常见的诱因。
• 预处理流程包含随机操作
  检查你的图像预处理逻辑是否嵌入了随机数据增强规则，比如随机裁剪、随机水平翻转、随机颜色扰动、随机padding等。即便是同一张输入图像，每次执行随机操作都会生成不同的输入张量，最终输出的特征也会随之变动。
• 浮点计算的固有误差
  如果你使用半精度（FP16）推理、GPU加速计算，不同批次的硬件调度、浮点计算的舍入逻辑差异会带来极小的数值误差，这类误差的量级通常在1e-6及以下，不会影响下游分类、检索等任务的效果，但如果你的一致性校验阈值设置过高，也会被判定为结果不一致。
• 数据读取逻辑存在随机性
  部分图像加载器的解码逻辑、像素插值规则存在随机逻辑，不同次读取同一张图像生成的张量可能存在极微的像素值差异，也会传导到最终的Fc7特征输出。

内容的提问来源于stack exchange，提问作者Daniela