如何评估VAE等生成模型的非图像合成样本质量？

首先明确你关心的指标适配问题：原生Inception Score（IS）、FID不能直接用于非图像的结构化表格数据——这两个指标的计算逻辑完全绑定图像领域预训练的InceptionV3网络，要求输入是符合图像尺寸规范的三通道像素矩阵，直接把100维表格特征喂进去算出来的结果没有任何参考意义，但这两个指标的核心设计思路完全可以迁移到表格场景。

成熟可用的评估方法 #

你可以按从基础校验到业务价值验证的顺序选择以下方法，不需要硬套图像领域的现成指标：

• 基础统计分布一致性校验
  这是最容易落地、不需要额外训练复杂模型的校验手段：
  • 单特征维度：连续特征用KS检验、Wasserstein距离衡量真实少数类样本和生成样本的分布差异；类别/离散特征用卡方检验、PSI（群体稳定性指标）校验，一般PSI低于0.1说明单特征分布偏差在可接受范围。
  • 特征关联一致性：分别计算真实少数类集、生成集的斯皮尔曼/皮尔逊特征相关系数矩阵，再算两个矩阵差的Frobenius范数，值越小说明VAE越能还原特征之间的真实关联逻辑，不会生成现实中不可能存在的矛盾特征组合（比如年龄15岁、学历博士这类不符合常识的样本）。
• 改造版分布距离指标（迁移FID思路）
  原生FID的核心逻辑是：用预训练模型提取高维语义特征，再衡量真实样本和生成样本在特征空间的多元高斯分布距离。你完全可以把预训练Inception网络换成适配你表格任务的特征提取器：先在原始标注数据集上训一个轻量的LightGBM/XGBoost二分类模型，取模型倒数第二层的隐层输出或者叶节点嵌入作为特征表征，再按FID的公式算Frechet距离即可，这个改造后的指标在表格生成领域通常叫Table-FID，比直接在原始100维特征上算距离更能捕捉高阶的特征组合差异。
  不建议你迁移IS指标：IS的核心是衡量生成样本的类别清晰度和多样性，依赖多分类任务的预测置信度计算，你当前是单类（少数类）样本生成场景，IS的计算结果没有实际参考价值。
• 判别器区分度校验
  把真实少数类样本标记为正例、VAE生成的样本标记为负例，按7:3拆分训练集测试集，训一个简单的二分类模型（比如逻辑回归、浅层随机森林），如果这个判别器在测试集上的准确率接近0.5，说明生成样本和真实样本的分布已经高度重合，简单模型没法区分两者；如果判别器准确率超过0.8，说明VAE生成的样本存在明显的模式偏差，没有学到真实少数类的核心分布。
• 下游任务效用校验（对你的场景最有参考价值）
  你用VAE生成样本的最终目标是解决类别不平衡、提升二分类模型效果，所以这个校验的优先级高于所有纯分布类指标：固定下游分类模型的结构、超参数和测试集，分别用原始不平衡训练集、随机过采样平衡集、SMOTE等传统过采样平衡集、VAE生成样本拼接的平衡集训练模型，对比几组实验在测试集上的少数类召回率、F1值、AUC-PR（类别不平衡场景下AUC-PR比普通ROC-AUC敏感得多）。如果VAE组的少数类指标显著优于其他过采样方法，同时多数类的预测精度没有出现明显下降，就说明你生成的样本是有效的。
  如果你的数据涉及敏感信息，还可以加一步近邻校验：计算每个生成样本在真实少数类训练集中的最近邻距离，避免VAE过拟合直接“背诵”训练集样本造成隐私泄露，一般要求生成样本的平均最近邻距离不低于真实集内部样本平均最近邻距离的1/2。

注意不要单独依赖某一个分布类指标下结论，优先以实际下游任务的效果提升为核心判断标准，避免出现“生成样本分布指标好看，但加到训练集里反而让分类模型效果下降”的问题。

内容的提问来源于stack exchange，提问作者YOUCEF ABDELLICHE