RL算法实现中KL(P||Q)=KL(Q||P)>0是否合理？代码疑问

我正在强化学习算法中实现空间平滑框架，具体做法是给当前状态（观测值）添加噪声，再基于带噪声的状态计算分布。我原本打算计算Jeffrey散度（对称KL散度），但发现KL(P||Q)和KL(Q||P)数值相等且都大于0，想知道这种情况是否可能、意味着什么，以及我的代码有没有问题。

代码实现 #

from torch.distributions import Normal, Independent, kl

def calculate_spatial_loss(self, minibatch, dist_current):
    
    P = dist_current

    # current observation
    obs = minibatch.obs
    
    # current observation with noise
    obs_perturbed = obs + np.random.normal(0, noise_scale, size=obs.shape)
    
    (mean, std), _ = actor(obs_perturbed)
    dist_perturbed = Normal(mean, std)
    Q = Independent(dist_perturbed, 1)

    # KL-Divergence:
    kl_P = kl.kl_divergence(P.base_dist, Q.base_dist).sum(dim=1)
    kl_Q = kl.kl_divergence(Q.base_dist, P.base_dist).sum(dim=1)
    
    # Jeffery's divergence
    divergence = 0.5 * (kl_P + kl_Q)

    return divergence.mean()

输出结果 #

执行print(kl_P.mean(), kl_Q.mean())后得到：

tensor(7.8187, grad_fn=<MeanBackward0>) tensor(7.8187, grad_fn=<MeanBackward0>)
tensor(8.3213, grad_fn=<MeanBackward0>) tensor(8.3213, grad_fn=<MeanBackward0>)
tensor(8.8823, grad_fn=<MeanBackward0>) tensor(8.8823, grad_fn=<MeanBackward0>)
tensor(9.2913, grad_fn=<MeanBackward0>) tensor(9.2913, grad_fn=<MeanBackward0>)
tensor(9.8640, grad_fn=<MeanBackward0>) tensor(9.8640, grad_fn=<MeanBackward0>)
tensor(1.0413, grad_fn=<MeanBackward0>) tensor(1.0413, grad_fn=<MeanBackward0>)
tensor(1.0928, grad_fn=<MeanBackward0>) tensor(1.0928, grad_fn=<MeanBackward0>)
tensor(1.1453, grad_fn=<MeanBackward0>) tensor(1.1453, grad_fn=<MeanBackward0>)
tensor(1.2143, grad_fn=<MeanBackward0>) tensor(1.2143, grad_fn=<MeanBackward0>)
tensor(1.2762, grad_fn=<MeanBackward0>) tensor(1.2762, grad_fn=<MeanBackward0>)

1. 这种情况是可能的 #

对于你使用的正态分布来说，只要两个分布的方差相等，KL(P||Q)就会等于KL(Q||P)，哪怕均值不同（此时KL散度不为零）。

推导一下就能明白：正态分布的KL散度公式中，当$\sigma_P = \sigma_Q$时，KL(P||Q)和KL(Q||P)都会简化为$\frac{(\mu_P - \mu_Q)^2}{2\sigma2}$，自然数值相等。

2. 这说明什么？ #

这意味着你通过带噪声观测得到的分布Q，和原分布P的标准差完全一致，只有均值存在差异。大概率是你的actor网络在处理加噪声的观测时，输出的标准差没有变化，只调整了均值。

3. 代码里的潜在问题 #

• 噪声生成方式：用np.random.normal生成噪声加到PyTorch张量obs上，可能会中断梯度传播，建议换成torch.randn_like(obs) * noise_scale来生成张量形式的噪声。
• KL散度计算的一致性：你对Q用了Independent包装，但计算KL时取了base_dist。如果dist_current(P)也是Independent包装的Normal分布，直接计算kl.kl_divergence(P, Q)更合理，避免手动sum可能带来的维度错误。
• actor网络的标准差分支：如果actor的标准差是固定值，或者标准差分支没有对输入观测的变化做出响应，就会出现Q和P方差相等的情况。可以检查actor的结构，确认标准差是否是可学习且依赖于输入的。

内容的提问来源于stack exchange，提问作者payamp