如何在AWS SageMaker中按机场对程序化获取预测准确率

AWS SageMaker目前没有内置功能支持按起飞机场-到达机场这类自定义维度统计单航线的预测准确率，你需要手动编写脚本基于历史预测数据完成计算，具体操作步骤如下：

• 存储关联预测数据：在模型生成预测结果时，必须同步保存每条记录对应的起飞机场、到达机场、实际延误结果、预测结果（若模型输出包含概率值也需保存），可将数据存储至S3桶或SageMaker模型监控专用数据集，便于后续批量调取。
• 编写准确率计算脚本：
  1. 从存储位置拉取全量历史预测数据
  2. 按起飞机场-到达机场维度对数据进行分组
  3. 对每个分组计算准确率：用分组内正确预测的记录数除以该分组的总记录数；若需展示单条航线预测的正确概率，直接提取对应记录的模型输出概率值即可。
• 可选自动化优化：
  • 可将计算脚本封装为SageMaker Processing Job，设置定时调度，定期更新各航线的准确率统计结果
  • 结合SageMaker Model Monitor的自定义指标功能，将航线维度的准确率配置为自定义监控指标，实现控制台可视化查看

内容的提问来源于stack exchange，提问作者David Tarkhanyan