You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

关于利用积分号下求导计算变分自编码器ELBO期望梯度的技术咨询

关于利用积分号下求导计算变分自编码器ELBO期望梯度的技术咨询

我目前在跟进Kingma和Welling关于变分自编码器(VAEs)的研究工作,他们提出的这类模型训练核心是最大化证据下界(ELBO)。要完成这个训练任务,常用的方法是梯度下降,但这就需要计算(或者至少是估计)ELBO的梯度。

在推导梯度的过程中,有一步必须用到这个关键的恒等式:

$$ \nabla_{\phi} \mathbb{E}{p(\epsilon)}\left[f(\textbf{z})\right] = \mathbb{E}{p(\epsilon)}\left[\nabla_{\phi}f(\textbf{z})\right] $$

其中$\textbf{z}=g(\textbf{x},\epsilon,\phi)$,函数$g$满足可微且可逆的条件;而$f(\textbf{z}) = \log p_\theta(\textbf{x},\textbf{z}) - \log q_\phi(\textbf{z}|\textbf{x})$,这里的$p_\theta$是带有参数$\theta$的...

备注:内容来源于stack exchange,提问作者Alesc Run

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.16 08:22:57