自编码器(AE)与变分自编码器(VAE)图像生成对比及AE随机性疑问

基础结论：你的原有认知基本正确 #

普通自编码器（包括卷积自编码器）的核心结构本身是确定性映射：

• 编码器会将固定的输入图像映射到潜在空间中唯一的固定点，不存在分布采样环节
• 解码器同样是确定性的，给定同一个潜在向量，输出的重建图像完全固定
  所以在没有额外添加随机模块的前提下，固定权重、固定输入的自编码器，每次运行得到的生成结果是完全一致的，不会出现随机变化。而变分自编码器的随机性是结构自带的：编码器输出的是潜在空间分布的均值和方差参数，每次推理需要从分布中采样得到潜在向量，自然会生成带有随机差异的结果，这点和你的认知完全吻合。

需要注意的特殊例外场景 #

如果你的自编码器出现了同输入生成结果不一致的情况，基本是以下原因导致的，不属于AE本身的结构特性：

• 推理阶段没有关闭dropout、随机噪声注入等训练时才需要的随机层
• 模型实现中加入了随机上采样、随机裁剪这类推理时也会生效的随机操作
• 运行环境的随机种子没有固定，部分算子（比如部分框架的卷积实现）在未固定种子时可能出现极小的浮点精度波动（这种波动通常肉眼不可见）

选型建议 #

• 需求为固定输入对应唯一确定的生成结果：选择普通自编码器即可，使用时只要关闭推理阶段的所有随机操作、固定框架和硬件的随机种子，就能保证每次输出完全一致
• 需求为固定输入对应多种带合理变化的生成结果：优先选择VAE，通过调整采样分布的方差可以直接控制生成结果的变化幅度，不需要额外修改AE结构加随机模块。

内容的提问来源于stack exchange，提问作者T. Elhassan