VertexAI AutoML表格回归模型训练后评估数据集疑问

核心结论 #

AutoML表格在手动指定拆分列的场景下，训练后展示的评估指标确实基于TEST集计算，但出现指标不匹配的情况，主要有以下几个原因：

• 预处理流程不一致：AutoML训练时会自动执行标准化、缺失值填充、特征编码等预处理操作，且这些操作是基于训练集统计量完成的。如果你单独评估时没有复用这套预处理逻辑（比如直接用原始数据计算），就会导致指标偏差。
• 评估计算逻辑差异：AutoML的内置评估可能采用了加权计算（比如针对样本权重的调整）、不同的指标精度取舍，或是对异常值做了特殊处理，和你手动计算的逻辑不完全一致。
• 模型版本不匹配：训练完成后平台展示的指标是从多个候选模型中选出的最优版本结果，如果你单独评估时调用的是未经过筛选的中间模型，结果自然会不同。
• 样本过滤规则不同：AutoML会自动过滤掉训练过程中无法处理的样本（比如特征全缺失、标签无效的行），但你单独评估时可能未执行同样的过滤，导致数据集的样本组成、数量存在差异。

内容的提问来源于stack exchange，提问作者Aditya