二元正态分布与独立伯努利分布的联合分布及参数极大似然估计求解

嗨，我来帮你理清楚这个问题的两个核心部分：联合分布的构造，以及参数的极大似然估计（MLE）求解。咱们一步步来：

一、联合分布的推导 #

已知$(X,Y)$服从二元正态分布$(X,Y)\sim N(\mu,\sigma I)$，其中$\mu = (\mu_1, \mu_2)^T$，$\sigma I$是对角协方差矩阵（意味着X和Y是独立的同方差正态变量，协方差$\sigma_{12}=0$）；同时$Z\sim Ber(p)$（伯努利分布，取值为0或1，$P(Z=1)=p$），且Z与$(X,Y)$相互独立。

因为变量相互独立，联合分布可以拆分为$(X,Y)$的连续密度函数与Z的离散概率质量函数的乘积：

对于任意实数$x,y$，以及$z\in{0,1}$，联合混合密度/质量函数为：
$$f(x,y,z) = \left[\frac{1}{2\pi\sigma^{2}\exp\left(-\frac{(x-\mu_1)}2 + (y-\mu_2)^2}{2\sigma2}\right)\right] \times p^z(1-p){1-z}$$

对应的累积分布函数（CDF）：

• 当$z=0$时：$P(Z=0, X\leq x, Y\leq y) = (1-p) \cdot \Phi(x,y;\mu,\sigma I)$，其中$\Phi$是二元正态的累积分布函数
• 当$z=1$时：$P(Z=1, X\leq x, Y\leq y) = p \cdot \Phi(x,y;\mu,\sigma I)$

二、极大似然估计（MLE）的求解 #

假设我们有$n$个独立同分布的样本：$(X_1,Y_1,Z_1), (X_2,Y_2,Z_2), ..., (X_n,Y_n,Z_n)$，需要估计的参数为$\mu_1,\mu_2,\sigma^2,p$。

1. 构造似然函数与对数似然函数 #

由于样本独立，似然函数是每个样本联合密度的乘积：
$$L(\mu_1,\mu_2,\sigma^2,p) = \prod_{i=1}^n \left[\frac{1}{2\pi\sigma^{2}\exp\left(-\frac{(x_i-\mu_1)}2 + (y_i-\mu_2)^2}{2\sigma2}\right)\right] \times p^{z_i}(1-p){1-z_i}$$

为了简化求导，取对数得到对数似然函数：
$$\ell = \sum_{i=1}^n \left[ -\ln(2\pi\sigma^2) - \frac{(x_i-\mu_1)^2 + (y_i-\mu_2)^2}{2\sigma2} \right] + \sum_{i=1}^n \left[ z_i\ln p + (1-z_i)\ln(1-p) \right]$$

2. 各参数的MLE求解 #

因为Z与$(X,Y)$独立，对数似然函数可以拆分为仅与$(X,Y)$参数相关的部分和仅与p相关的部分，因此我们可以分别对两组参数求解：

（1）$\mu_1$和$\mu_2$的MLE

对$\mu_1$求偏导并令其为0：
$$\frac{\partial \ell}{\partial \mu_1} = \frac{1}{\sigma^2}\sum_{i=1}n (x_i - \mu_1) = 0$$
解得：
$$\hat{\mu}1 = \frac{1}{n}\sum{i=1}^n x_i$$

同理，$\mu_2$的MLE为：
$$\hat{\mu}2 = \frac{1}{n}\sum{i=1}^n y_i$$
这和你之前单独考虑二元正态时的结果完全一致——因为Z的存在不影响$(X,Y)$的均值估计。

（2）$\sigma^2$的MLE

令$v=\sigma^2$，对$v$求偏导并令其为0：
$$\frac{\partial \ell}{\partial v} = -\frac{n}{v} + \frac{1}{2v^2}\sum_{i=1}n \left[(x_i-\hat{\mu}_1)^2 + (y_i-\hat{\mu}_2)^2\right] = 0$$
代入$\hat{\mu}_1$和$\hat{\mu}2$后解得：
$$\hat{\sigma}^2 = \frac{1}{2n}\sum{i=1}^n \left[(x_i-\hat{\mu}_1)^2 + (y_i-\hat{\mu}_2)^2\right]$$

如果题目中的$\sigma I$是笔误，实际是一般的二元正态分布（协方差矩阵$\Sigma$非对角，X和Y不独立），那协方差的MLE依然是样本协方差：
$$\hat{\sigma}{12} = \frac{1}{n}\sum{i=1}^n (x_{1i}-\hat{\mu}1)(x{2i}-\hat{\mu}_2)$$
并不需要解三次方程——你之前提到的“3-degree equation”可能是误解或特定约束下的情况，常规一般二元正态的协方差MLE就是样本协方差。

（3）p的MLE

对p求偏导并令其为0：
$$\frac{\partial \ell}{\partial p} = \sum_{i=1}^n \left( \frac{z_i}{p} - \frac{1-z_i}{1-p} \right) = 0$$
整理后解得：
$$\hat{p} = \frac{1}{n}\sum_{i=1}^n z_i$$
也就是样本中Z取1的频率，这符合伯努利分布的经典MLE结果，且与$(X,Y)$的观测值无关。

总结 #

• 联合分布：利用独立性拆分为二元正态密度与伯努利概率的乘积；
• 参数MLE：
  • $\hat{\mu}_1, \hat{\mu}_2$：样本均值，与单独二元正态的结果一致；
  • $\sigma^2$（或一般协方差矩阵$\Sigma$）：样本方差/协方差矩阵，不受Z影响；
  • $\hat{p}$：样本中Z=1的频率，与$(X,Y)$无关。

备注：内容来源于stack exchange，提问作者Long Tuấn