如何重训练变分自编码器（VAE）并复现相同训练结果

你遇到的VAE结果不可复现问题确实和重参数化的随机采样环节相关，具体原因有两点：

• 仅设置TensorFlow全局随机种子不足以固定所有随机操作，你当前代码中tf.keras.backend.random_normal采样没有指定操作级种子，每次调用会生成不同的随机值
• TensorFlow默认未开启确定性运行模式，部分底层运算（如CUDA算子）本身存在微小随机性，普通自编码器没有随机采样环节，仅靠全局种子就能固定权重初始化、优化器状态，所以可复现，VAE会被额外的随机环节影响

1. 代码最开头开启全局确定性配置 #

在所有TensorFlow、numpy操作执行前添加以下配置，固定所有运算的随机性：

import os
# 开启TensorFlow确定性运算
os.environ['TF_DETERMINISTIC_OPS'] = '1'
os.environ['TF_CUDNN_DETERMINISTIC'] = '1'
import tensorflow as tf
import numpy as np
# 固定全局随机种子
tf.random.set_seed(1)
np.random.seed(1)

注：开启确定性模式会让训练速度略有下降，但能保证所有运算输出完全一致

2. 给采样操作添加固定种子 #

修改你的Sampling层代码，给随机采样操作指定固定种子：

class Sampling(layers.Layer):
    """Uses (z_mean, z_log_var) to sample z."""
    def call(self, inputs):
        z_mean, z_log_var = inputs
        batch = tf.shape(z_mean)[0]
        dim = tf.shape(z_mean)[1]
        # 新增seed参数，值和全局种子保持一致即可
        epsilon = tf.keras.backend.random_normal(shape=(batch, dim), seed=1)
        return z_mean + tf.exp(0.5 * z_log_var) * epsilon

完成以上两步调整后，每次重新训练VAE得到的损失、权重、预测输出都会和普通自编码器一样完全一致，不需要保存完整模型就能复现所有结果。

如果后续需要频繁调用训练好的表征，不需要保存完整VAE模型，仅保存编码器权重即可：

• 编码器参数量仅为完整自编码器的一半，存储空间可节省50%以上
• 保存命令：encoder.save_weights('vae_encoder_weights.h5')，调用时先初始化编码器结构，再加载权重即可，单模型权重仅为KB到MB级，远小于完整saved_model的体积

可选：完全消除随机环节的方案 #

你当前预测时本身使用的就是无随机性的z_mean输出，不需要采样得到的z值，可以直接修改训练逻辑，全程用z_mean代替采样结果：

• 训练时把VAE的train_step里的z_mean, z_log_var, z = self.encoder(data)改为z_mean, z_log_var, _ = self.encoder(data); z = z_mean
• 完全消除采样环节的随机性，连种子配置都可以省略，结果100%可复现，还能提升训练速度

内容的提问来源于stack exchange，提问作者Marcos Gôlo