联合概率分布p(x,y)如何生成样本对？为何p(y|x)无法生成？

一、生成模型如何生成(x,y)样本对？ #

拿两个常见的生成模型举实际例子：

1. 朴素贝叶斯 #

朴素贝叶斯通过先建模类别的先验概率p(y)和给定类别下特征的条件概率p(x|y)，再根据联合概率公式 p(x,y) = p(x|y) * p(y) 得到联合分布。生成样本的步骤很直观：

• 第一步：从p(y)里随机采样一个类别y（比如文本分类场景里的"体育"或"科技"类别）；
• 第二步：根据这个类别对应的p(x|y)，随机生成符合该类别特征的x（比如从体育类的词频分布里挑选词汇组成通顺的句子）；
• 最终就能得到一组全新的(x,y)样本对（比如样本对："男篮世锦赛落幕 国家队获季军"，"体育"）。

2. GAN（生成对抗网络） #

GAN的生成器专门学习不同类别下x的分布p(x|y)，训练时判别器负责区分生成的(x,y)样本和真实样本。训练完成后生成样本的方式很简单：

• 先指定一个目标类别y（比如"猫"）；
• 把y输入训练好的生成器，就能直接输出符合该类别的真实感x（一张看起来和真实照片无异的猫的图片）；
• 这样就得到了全新的（猫图片，"猫"）样本对。

二、为什么条件概率p(y|x)无法生成新样本对？ #

判别模型建模的p(y|x)，本质是给定特征x后，预测类别y的概率分布，它的核心逻辑是"输入已有的x，输出y的可能性"。之所以没法生成新样本对，核心原因有两点：

• 它完全没有对x的分布进行建模，不知道什么样的x是符合真实数据规律的、合理的；
• 它不具备凭空生成x的能力——比如逻辑回归作为典型的判别模型，能判断一张给定的图片是不是猫，但绝对没法生成一张从未见过的新猫图；
• 没有生成x的能力，自然就没法得到全新的(x,y)样本对，只能对已有的x做分类判断。

内容的提问来源于stack exchange，提问作者Oatmeals