Vertex AI AutoML模型训练评估优异但独立测试集表现欠佳的原因咨询

• 训练集与独立测试集分布偏移：这是最核心的原因。如果训练数据和独立测试集的特征分布（比如样本来源、场景、数据采集方式）差异较大，模型只学到了训练数据的特定规律，无法适配新场景的样本。比如训练用的是一线城市用户数据，测试集来自下沉市场，用户行为特征完全不同。
• 隐性数据泄露：训练过程中可能存在未被察觉的数据泄露。比如AutoML预处理时，不小心将测试阶段才会有的信息混入训练流程，或者特征中包含了和标签强关联但真实场景无法获取的内容，导致训练指标虚高，实际无法复用。
• 模型过拟合：AutoML自动选择的模型复杂度可能过高，在训练集上拟合了噪声而非真实业务规律。虽然Vertex AI的内置验证集可能因为和训练集分布接近表现不错，但独立测试集的噪声分布不同，模型就会失效。
• 独立测试集质量问题：测试集可能存在标注错误、数据格式异常，或者样本量太小导致评估结果波动大，看起来性能骤降。比如测试集的标签标注混乱，或者部分样本的特征缺失未处理。
• 预处理逻辑不一致：Vertex AI的AutoML训练时会自动完成归一化、编码等预处理，但评估独立测试集时，如果没有严格沿用训练时的预处理规则（比如用了不同的均值做归一化），会导致输入数据分布和训练时偏差过大，模型性能下滑。
• 类别分布差异：如果训练集和测试集的类别占比差异明显，比如训练集正样本占比30%，测试集仅占5%，依赖准确率这类指标会出现训练时的虚高，实际在真实分布下的泛化能力很差。

内容的提问来源于stack exchange，提问作者tskuzzy