为什么VAE(变分自编码器)损失无法收敛到零？附实现代码咨询

1. 损失函数符号错误（核心原因） #

ELBO（证据下界）的定义是 ELBO = 重构对数似然 - KL散度，训练VAE的目标是最大化ELBO。你当前直接将(kl - recon_loss)作为损失传入梯度下降流程，等于在执行最小化ELBO的操作，自然会导致损失不断走低变成负数，永远不可能收敛到0。
修改方案：调整损失函数的符号，把需要最小化的目标改为负ELBO：

def loss_function(self, x_hat, x, mu, logvar, β=1):
    std = torch.exp(logvar / 2)
    q = torch.distributions.Normal(mu, std)
    z = q.rsample()

    # 重构项转为负对数似然，越小代表重构效果越好
    recon_loss = - self.gaussian_likelihood(x_hat, self.log_scale, x)
    # KL散度本身就是越小越好
    kl = self.kl_divergence(z, mu, std)

    # 总损失 = 重构损失 + β*KL散度，直接最小化该值即可
    loss = (recon_loss + β * kl).mean()
    return loss

2. 解码器激活与重构损失不匹配 #

你解码器输出用了Sigmoid激活，输出范围被限制在[0,1]，但你选用了高斯似然计算重构损失，二者天然不匹配：

• 如果输入x已经归一化到[0,1]区间，建议换用伯努利似然计算重构损失，或者直接用MSE损失替代高斯似然；
• 如果坚持使用高斯似然，需要把输入x归一化到[-1,1]区间，同时把解码器的Sigmoid激活换成Tanh，保证输出范围和输入对齐。
  另外如果使用高斯似然，要确保self.log_scale是正确初始化的可学习参数，不要使用未初始化或者默认0值的参数。

3. 训练损失统计逻辑错误 #

你代码中返回的loss已经是单个batch内样本的平均损失，直接累加后除以全数据集样本数，等于把损失值额外缩小了batch size倍，会出现数值异常。
修改后的统计逻辑：

for epoch in range(0, epochs + 1):
    if epoch > 0:  # test untrained net first
        model.train()
        train_loss = 0
        loop = tqdm(train_loader)
        optimizer = model.setOptimizer(model)
        for x in loop:
            x = x.to(device)
            x_hat, mu, logvar, features = model(x)
            loss = model.loss_function(x_hat, x, mu, logvar)
            # 累加当前batch的总损失
            train_loss += loss.item() * x.shape[0]
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()
            loop.set_postfix(loss=loss.item())
        # 除以总样本数得到正确的epoch平均损失
        avg_train_loss = train_loss / len(train_loader.dataset)
        print(f'====> Epoch: {epoch} Average loss: {avg_train_loss:.4f}')

4. 补充说明 #

VAE的损失由重构损失和KL散度两部分组成，KL散度的最小值为0（近似后验完全等于先验时），但重构损失不可能降到0，因为VAE本身存在信息瓶颈，你只能让损失收敛到一个稳定的低值，不可能达到绝对0。

内容的提问来源于stack exchange，提问作者InfT