参数服从正态分布的正态分布变量的期望、方差与分布求解

这是之前一个变分布大数定律问题的跟进提问，咱们来拆解这个嵌套正态分布的问题：

假设随机变量$X$满足以下层级分布：

• 给定$\mu$和$\sigma$时，$X \sim N(\mu, \sigma)$（这里要注意，严格来说标准差应该是非负的，但题目设定$\sigma$服从正态分布，我们先按题目给定的条件推导）
• $\mu$自身服从正态分布：$\mu \sim N(\theta_1, \theta_2)$
• $\sigma$自身服从正态分布：$\sigma \sim N(\theta_3, \theta_4)$

接下来我会一步步解答你关心的三个问题：

1. $X$的期望 #

我用全期望公式来推导：全期望公式的核心是分层计算期望，先算给定$\mu$和$\sigma$时$X$的条件期望，再对$\mu$和$\sigma$求期望。

给定$\mu$和$\sigma$时，正态分布$N(\mu, \sigma)$的条件期望就是$\mu$，所以：
$$E[X] = E\left[ E[X \mid \mu, \sigma] \right] = E[\mu]$$
而$\mu \sim N(\theta_1, \theta_2)$，它的期望就是$\theta_1$，因此最终：
$$E[X] = \theta_1$$

2. $X$的方差 #

这里用全方差公式来计算，全方差公式是：
$$Var(X) = E\left[ Var(X \mid \mu, \sigma) \right] + Var\left( E[X \mid \mu, \sigma] \right)$$

先拆解两部分：

• 第一部分：给定$\mu$和$\sigma$时，$X$的条件方差是$\sigma^{2$，所以我们需要计算$\sigma}2$的期望。因为$\sigma \sim N(\theta_3, \theta_4)$，根据方差的定义$E[\sigma^2] = Var(\sigma) + (E[\sigma])^{2$，代入得$E[\sigma}2] = \theta_4 + \theta_3^2$。
• 第二部分：$E[X \mid \mu, \sigma] = \mu$，所以这部分的方差就是$\mu$的方差，也就是$\theta_2$。

把两部分加起来，得到：
$$Var(X) = \theta_4 + \theta_3^2 + \theta_2$$

3. $X$的分布 #

这部分要复杂一些，先把$X$的表达式拆解：$X$可以写成$X = \mu + \sigma Z$，其中$Z \sim N(0,1)$，且$Z$和$\mu$、$\sigma$相互独立。

我们可以通过特征函数来分析$X$的分布：
$$\phi_X(t) = E\left[ e^{itX} \right] = E\left[ e^{it(\mu + \sigma Z)} \right] = E\left[ e^{it\mu} \cdot E\left[ e^{it\sigma Z} \mid \mu, \sigma \right] \right]$$
给定$\sigma$时，$E\left[ e^{it\sigma Z} \right] = e^{{-\frac{1}{2}(t\sigma)}2}$，所以特征函数变为：
$$\phi_X(t) = E\left[ e^{it\mu - \frac{1}{2}t^2 \sigma^2} \right]$$

代入$\mu$和$\sigma$的正态分布，这个特征函数无法简化成常见分布的形式，说明$X$的分布不是我们熟悉的标准分布，而是一种混合正态分布（均值和标准差都服从正态分布的混合）。

如果要写出$X$的概率密度函数，就是对$\mu$和$\sigma$的分布积分：
$$f_X(x) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi \sigma^2}} e^{{-\frac{(x-\mu)}2}{2\sigma^2}} \cdot \frac{1}{\sqrt{2\pi \theta_2}} e^{{-\frac{(\mu-\theta_1)}2}{2\theta_2}} \cdot \frac{1}{\sqrt{2\pi \theta_4}} e^{{-\frac{(\sigma-\theta_3)}2}{2\theta_4}} d\mu d\sigma$$
不过这个积分没有解析解，只能通过数值方法计算，或者用特征函数来描述其分布特性。

另外要提一句：题目里设定$\sigma$服从正态分布，这会导致$\sigma$有概率取负值，和实际中标准差非负的定义冲突。如果是想让$\sigma$作为正的标准差，通常会设定$\sigma^2$服从卡方分布或者逆Gamma分布，这样更符合实际场景，但咱们这里还是按题目给定的条件完成推导。

备注：内容来源于stack exchange，提问作者stats_noob