关于利用积分号下求导计算变分自编码器ELBO期望梯度的技术咨询
关于利用积分号下求导计算变分自编码器ELBO期望梯度的技术咨询
我目前在跟进Kingma和Welling关于变分自编码器(VAEs)的研究工作,他们提出的这类模型训练核心是最大化证据下界(ELBO)。要完成这个训练任务,常用的方法是梯度下降,但这就需要计算(或者至少是估计)ELBO的梯度。
在推导梯度的过程中,有一步必须用到这个关键的恒等式:
$$ \nabla_{\phi} \mathbb{E}{p(\epsilon)}\left[f(\textbf{z})\right] = \mathbb{E}{p(\epsilon)}\left[\nabla_{\phi}f(\textbf{z})\right] $$
其中$\textbf{z}=g(\textbf{x},\epsilon,\phi)$,函数$g$满足可微且可逆的条件;而$f(\textbf{z}) = \log p_\theta(\textbf{x},\textbf{z}) - \log q_\phi(\textbf{z}|\textbf{x})$,这里的$p_\theta$是带有参数$\theta$的...
备注:内容来源于stack exchange,提问作者Alesc Run
相关产品推荐
相关产品推荐

