Kingma&Welling变分自编码器论文2.2节：函数期望的分布参数梯度等式及近似

嗨，咱们来拆解Kingma和Welling那篇经典变分自编码器（VAE）论文第2.2节里的这个关键梯度等式：

$$ \nabla_\phi \mathbb{E}{q(\mathbf{z}|\phi)}[ f(\mathbf{z}) ] ₌ \mathbb{E}{q(\mathbf{z}|\phi)}, [ f(\mathbf{z}), \nabla_{q(\mathbf{z}|\phi)} \log q(\mathbf{z}|\phi) ] \hspace{41mm}(1) $$

这个等式是计算函数期望关于概率分布参数$\phi$的梯度的核心公式：左边是对分布$q(\mathbf{z}|\phi)$下$f(\mathbf{z})$的期望求$\phi$的梯度，右边则将这个梯度转化为同一分布下，$f(\mathbf{z})$与$q(\mathbf{z}|\phi)$对数的梯度的乘积的期望。

作者随后指出，这个等式的右侧无法直接进行精确计算，因此可以通过从分布$q(\mathbf{z}|\phi)$中采样，用样本均值来近似$\mathbb{E}_{q(\mathbf{z}|\phi)}[\dots]$这个期望项。

内容的提问来源于stack exchange，提问作者ted