《统计学习基础》两类分类后验概率公式的推导疑问
首先要明确，你写的贝叶斯公式顺序反了，正确的后验概率公式是：
Pr(G=k|X=x) = [p(X=x|G=k) × Pr(G=k)] / p(X=x)
其中：
- Pr(G=k|X=x)：给定输入x时，类别为k的后验概率
- p(X=x|G=k)：类别为k时，输入x的类条件概率
- Pr(G=k)：类别k的先验概率
- p(X=x)：输入x的边缘概率（对所有类别求和得到）
下面从基础知识出发，一步步推导你遇到的公式：
步骤1：逻辑回归的核心假设
这个后验概率模型属于逻辑回归范畴，它的核心假设是：类别1相对于类别2的对数几率是输入x的线性函数。
先定义「几率（Odds）」：类别1发生的概率与不发生（即类别2）的概率之比：Odds = Pr(G=1|X=x) / Pr(G=2|X=x)
对数几率就是这个比值的自然对数，逻辑回归假设它和输入x呈线性关系：ln(Odds) = β₀ + βᵀx
其中β₀是截距项，β是系数向量，这是整个模型的出发点。
步骤2：从对数几率推导后验概率
由对数几率的式子可以变形得到：Pr(G=1|X=x) / Pr(G=2|X=x) = exp(β₀ + βᵀx)
同时，因为只有两个类别，所有类别的后验概率之和必然为1：Pr(G=1|X=x) + Pr(G=2|X=x) = 1
把第一个式子中的Pr(G=1|X=x)替换为exp(β₀ + βᵀx) × Pr(G=2|X=x)，代入第二个式子：exp(β₀ + βᵀx) × Pr(G=2|X=x) + Pr(G=2|X=x) = 1
提取公因子后：Pr(G=2|X=x) × [1 + exp(β₀ + βᵀx)] = 1
由此直接得到类别2的后验概率：Pr(G=2|X=x) = 1 / (1 + exp(β₀ + βᵀx))
再将其代入Pr(G=1|X=x) = exp(β₀ + βᵀx) × Pr(G=2|X=x)，就能得到类别1的后验概率：Pr(G=1|X=x) = exp(β₀ + βᵀx) / (1 + exp(β₀ + βᵀx))
步骤3：关联贝叶斯定理的深层逻辑
从贝叶斯定理的角度，我们可以进一步理解这个模型的合理性：
假设两个类别的先验概率为Pr(G=1)=π，Pr(G=2)=1-π；同时假设类条件概率p(X=x|G=k)的对数似然比是x的线性函数，即：ln[p(X=x|G=1)/p(X=x|G=2)] = α₀ + αᵀx
根据贝叶斯定理，后验概率的比值为：Pr(G=1)/Pr(G=2) = [p(X=x|G=1)/p(X=x|G=2)] × [Pr(G=1)/Pr(G=2)]
两边取自然对数：ln[Pr(G=1)/Pr(G=2)] = ln[p(X=x|G=1)/p(X=x|G=2)] + ln[Pr(G=1)/Pr(G=2)]
代入线性似然比和先验的对数项：ln[Pr(G=1)/Pr(G=2)] = (α₀ + ln(π/(1-π))) + αᵀx
令β₀ = α₀ + ln(π/(1-π))，β = α，就回到了逻辑回归的对数几率假设，进而推导出你看到的后验概率公式。
比如当类条件概率是协方差相同的正态分布时，计算对数似然比会自然得到线性形式，这也是《统计学习基础》中从线性判别分析（LDA）过渡到逻辑回归的核心逻辑。
内容的提问来源于stack exchange，提问作者Rahul Sharma
