正态线性回归模型贝叶斯分析中后验分布的计算

咱们一步步来推导正态线性回归模型里的贝叶斯后验分布，先从基础的模型设定说起：

模型设定 #

我们考虑经典的正态线性回归模型：
$$
y = X \beta + \epsilon,
$$
其中各个变量的含义如下：

• $y=(y_1,\ldots,y_n)^{T\in\mathbb{R}}n$：这是我们观测到的响应变量向量
• $X=(x_1,\ldots,x_n)^{T$：设计矩阵，每一行$x_i=(x_{i1},\ldots,x_{ik})}T\in\mathbb{R}^k$对应第$i$个样本的$k$维特征向量
• $\beta=(\beta_1,\ldots,\beta_k)^{T\in\mathbb{R}}k$：需要估计的回归系数向量
• $\epsilon=(\epsilon_1,\ldots,\epsilon_n)^T$：随机误差项，且误差项满足独立同分布的正态分布 $\epsilon_1,\ldots,\epsilon_n\overset{i.i.d.}{\sim}N(0, v)$，其中$v>0$是误差的方差

另外我们做一个关键假设：$X^TX$是正则矩阵（也就是满秩矩阵），这样后续计算中涉及的矩阵逆都存在。

共轭先验分布 #

为了方便后验计算，我们给参数设定共轭先验分布：
$$
\beta\mid v\sim N(0, vI_k),\ v\sim IG(a, 1/s).
$$
这里的$IG(a, 1/s)$指的是形状参数为$a$、尺度参数为$1/s$的逆Gamma分布，选择共轭先验的好处是后验分布会和先验分布属于同一分布族，计算起来更简洁。

待解决问题 #

我们的核心目标是推导并证明：在上述模型和先验设定下，给定方差$v$和观测数据$y$时，回归系数$\beta$的后验分布满足如下形式：
$$
\beta\mid v,y\sim N\left( (X^TX + I_k)^{-1}XTy,\ v(X^TX + I_k)^{-1} \right)
$$
（注：原问题中后验分布的表达式未完整给出，这里结合常规贝叶斯线性回归的推导补全了完整形式）

备注：内容来源于stack exchange，提问作者ytnb