线性回归与朴素贝叶斯模型中似然函数的差异解惑

先明确核心：似然函数的本质是用已观测到的数据，衡量模型参数（或假设）的合理性，两种似然的条件顺序差异，完全是因为两个模型的建模目标、观测变量、待估对象不一样。

1. 线性回归里的$p(y|x, \omega)$ #

• 线性回归的目标是用特征$x$预测目标$y$，我们手里有一堆$(x,y)$的真实样本，要找的是最合适的回归系数$\omega$。
• 这里的$p(y|x, \omega)$是说：固定住特征$x$和参数$\omega$，观测到目标值$y$的概率。我们要选能让所有样本的这个概率乘积最大的$\omega$——说白了就是让模型对现有数据的拟合度最高。
• 一句话总结：已知$x$和$\omega$，$y$出现的概率，用来判断$\omega$好不好用。

2. 朴素贝叶斯里的$p(x|y)$ #

• 朴素贝叶斯是做分类的，目标是用特征$x$判断样本属于哪个类别$y$，我们同样有$(x,y)$的样本，要统计的是每个类别$y$对应的特征分布。
• 这里的$p(x|y)$是说：固定住类别$y$，观测到特征$x$的概率。我们会基于样本统计每个类别下$x$的分布规律，后续才能用贝叶斯公式算出“给定$x$时，属于类别$y$的概率”。
• 一句话总结：已知类别$y$，$x$出现的概率，用来描述这个类别下的特征规律。

核心差异 #

• 建模方向相反：线性回归是“从特征推目标”，朴素贝叶斯是“从类别推特征”（最终用特征反推类别）。
• 待估对象不同：线性回归用似然估计回归系数$\omega$；朴素贝叶斯用似然估计每个类别下的特征分布参数。
• 条件变量的角色不同：线性回归里的$x$是已知的输入，作为固定条件；朴素贝叶斯里的$y$是已知的类别标签，作为固定条件。

内容的提问来源于stack exchange，提问作者Andy