Vertex AI AutoML分类模型使用训练数据集批量预测出现INTERNAL内部错误

任务终止提示：Due to one or more errors, this training job was canceled on Nov 11, 2021 at 09:42AM
错误详情：Batch prediction job customer_value_label_cv_automl_gui encountered the following errors: INTERNAL
相关报错截图：

• 输入数据schema不匹配：即使使用原始训练数据集，在提交批量预测任务时，如果数据集的字段顺序、字段类型、列名与模型训练阶段绑定的输入schema存在差异，比如数值列被误识别为字符串列、训练时的标签列/唯一标识列命名发生变更，都会触发平台内部校验失败。
• 计算资源不足：数据集包含570列、30万条记录，单样本特征维度较高，批量预测任务分配的运行资源（内存、CPU配额）无法支撑全量高维特征的推理计算，运行过程中触发内存溢出后被系统强制终止。
• 模型推理产物异常：模型训练完成后生成的批量推理依赖产物存在隐性缺陷，训练阶段仅对采样的验证/测试集做指标计算，不会覆盖全量数据的批量推理链路，因此训练阶段不会暴露该问题。
• 平台链路临时故障：Vertex AI内部的任务调度、模型存储挂载、数据集读取链路出现临时异常，导致预测任务无法正常读取依赖资源。

AutoML的训练链路和批量预测链路是相互独立的：训练阶段只会抽取部分数据集做训练、验证、测试的指标计算，不会对全量30万条训练数据做完整的推理运算，因此不会触发批量预测场景下的资源阈值、全量schema校验等逻辑，就会出现训练可正常完成，但同数据集批量预测失败的情况。

内容的提问来源于stack exchange，提问作者Rafał Manda