已知单个高斯分布参数，求解混合双高斯模型未知参数及权重

这属于带约束的混合高斯模型估计问题，有成熟的解决思路——核心是固定已知高斯的参数，仅对未知部分进行估计，具体方法如下：

修改版EM算法 #

标准EM算法是迭代估计所有混合分量的参数和权重，这里只需固定已知高斯的均值μ₁、方差σ₁²，仅迭代优化未知高斯的参数和两个分量的权重：

• E步：对每个样本xᵢ，计算它属于已知高斯的后验概率γ₁ᵢ，以及属于未知高斯的后验概率γ₂ᵢ = 1 - γ₁ᵢ，计算公式为：
  γ₁ᵢ = (w₁ * N(xᵢ; μ₁, σ₁²)) / (w₁ * N(xᵢ; μ₁, σ₁²) + w₂ * N(xᵢ; μ₂, σ₂²))
  其中N(·; μ, σ²)表示高斯概率密度函数，w₁、w₂为两个分量的权重，满足w₁ + w₂ = 1。
• M步：仅更新未知高斯的参数和权重：
  • 未知分量权重：w₂ = (1/n) * Σγ₂ᵢ（w₁ = 1 - w₂，n为样本总数）
  • 未知分量均值：μ₂ = (Σγ₂ᵢxᵢ) / Σγ₂ᵢ
  • 未知分量方差：σ₂² = (Σγ₂ᵢ(xᵢ - μ₂)²) / Σγ₂ᵢ
• 重复E步和M步，直到参数变化量小于预设阈值（如1e-6）或对数似然函数趋于稳定，停止迭代。

直接极大似然数值优化 #

构造包含已知参数的对数似然函数，直接对未知参数（μ₂、σ₂²、w₂）做数值优化求最大值：
对数似然函数为：
L(μ₂, σ₂², w₂) = Σln(w₁*N(xᵢ;μ₁,σ₁²) + w₂*N(xᵢ;μ₂,σ₂²))
其中w₁ = 1 - w₂，可以用梯度下降、BFGS等数值优化方法直接求解该函数的极值点，得到未知参数。

实用建议 #

• 初始值选择：未知高斯的初始均值可以选数据集的均值或中位数，初始方差选数据集的方差，初始权重w₂可设为0.5，避免迭代陷入局部最优。
• 收敛判断：优先观察参数的变化幅度，或对数似然函数的变化量，当变化足够小时即可停止迭代。

内容的提问来源于stack exchange，提问作者cloudbox