关于Gen.jl中二次近似实现及后验分布计算方法的咨询

关于二次近似的实现 #

可以在Gen.jl中实现二次近似。二次近似本质是用多元正态分布拟合后验分布，你可以通过Gen的变分推断模块完成：

• 用@gen宏定义参数化的变分程序，选择对角协方差正态分布或全协方差正态分布作为变分族（这两类都属于二次近似范畴）
• 调用optimize!函数，基于训练数据优化变分程序参数，让正态分布尽可能逼近目标后验。

极简示例：

# 定义目标模型
@gen function model(x)
    y ~ normal(x * @trace(normal(0, 1), :w), 1)
end

# 定义二次近似的变分程序（全协方差正态分布）
@gen function variational()
    w ~ mvnormal([0.0], [1.0;;])
end

# 准备数据
data = (x=1.0, y=2.0)

# 优化变分参数，得到二次近似的后验
optimize!(variational, data, model, max_iter=1000)

关于后验计算的方法 #

Gen.jl支持多种后验近似方法，并非只有MCMC：

• MCMC类：包含NUTS、HMC、Gibbs采样等，对应Gen中的nuts、hmc、gibbs等函数
• 变分推断（VI）：除二次近似外，还支持Mean Field等其他变分族，通过optimize!完成拟合
• 序贯蒙特卡洛（SMC）：适配序列数据或大规模模型，对应smc函数
• 重要性采样：基础近似方法，对应importance_sampling函数

内容的提问来源于stack exchange，提问作者Hewarathna Ashen Iranga