MMSE估计器对观测值的一阶导数求解及相关结论验证

嗨，我来帮你梳理这个问题的推导过程，顺便验证你提到的结论是否正确～

首先明确已知条件：

• 观测模型：$y = x + n$，其中噪声$n \sim \mathcal{N}(0, \sigma^2)$，且与$x$独立
• $x$的先验分布为$p_0(x)$
• MMSE估计器定义为$\hat{x} = \mathbb{E}[x|y]$

推导$\frac{d\hat{x}}{dy}$的步骤 #

咱们从条件概率的表达式和求导规则入手：

1. 写出条件概率密度
   根据贝叶斯定理，$x$的后验概率密度为：
   $$p(x|y) = \frac{p(y|x)p_0(x)}{p(y)}$$
   其中似然$p(y|x)$是高斯分布：$p(y|x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(y-x)^2}{2\sigma2}\right)$

2. 对MMSE估计器求导
   因为$\hat{x} = \int x p(x|y) dx$，我们可以交换积分和求导的顺序（满足莱布尼茨条件，这里是合法的）：
   $$\frac{d\hat{x}}{dy} = \int x \frac{\partial}{\partial y} p(x|y) dx$$

3. 计算后验密度对$y$的偏导
   为了简化计算，先对$p(x|y)$取对数再求导：
   $$\ln p(x|y) = \ln p(y|x) + \ln p_0(x) - \ln p(y)$$
   对$y$求导得：
   $$\frac{1}{p(x|y)} \frac{\partial p(x|y)}{\partial y} = \frac{\partial}{\partial y} \ln p(y|x) - \frac{\partial}{\partial y} \ln p(y)$$

   • 计算似然对数的导数：
     $\ln p(y|x) = -\frac{(y-x)^2}{2\sigma2} + \text{常数项}$，对$y$求导后得到：
     $$\frac{\partial}{\partial y} \ln p(y|x) = \frac{x - y}{\sigma^2}$$

   • 计算边缘密度对数的导数：
     $\frac{\partial}{\partial y} \ln p(y) = \frac{1}{p(y)} \frac{\partial p(y)}{\partial y} = \int \frac{\partial \ln p(y|x)}{\partial y} p(x|y) dx$，代入上面的结果：
     $$\frac{\partial}{\partial y} \ln p(y) = \mathbb{E}\left[\frac{x - y}{\sigma^2} \bigg| y\right] = \frac{\hat{x} - y}{\sigma^2}$$

4. 代入偏导结果并化简
   把上面两个导数结果代回，得到：
   $$\frac{\partial p(x|y)}{\partial y} = p(x|y) \cdot \frac{x - \hat{x}}{\sigma^2}$$

将其代入$\frac{d\hat{x}}{dy}$的表达式：
$$\frac{d\hat{x}}{dy} = \int x \cdot p(x|y) \cdot \frac{x - \hat{x}}{\sigma^2} dx = \frac{1}{\sigma^2} \int x(x - \hat{x}) p(x|y) dx$$

展开积分项，利用方差的定义$\text{var}[x|y] = \mathbb{E}[x^2|y] - (\mathbb{E}[x|y])^2$：
$$\int x(x - \hat{x}) p(x|y) dx = \mathbb{E}[x^2|y] - \hat{x} \cdot \mathbb{E}[x|y] = \text{var}[x|y]$$

最终结论 #

由此可得：
$$\frac{d\hat{x}}{dy} = \frac{1}{\sigma^2} \text{var}[x|y]$$

你回忆的结论把系数搞反啦，正确的表达式是导数等于后验方差除以$\sigma^{2$，而不是乘以$\sigma}2$。

备注：内容来源于stack exchange，提问作者Harry