使用Airflow SageMakerTrainingOperator时遇ListTrainingJobs节流异常求助

• 限制并发任务数量
  用Airflow的pool机制给SageMaker训练任务分配专用资源池，控制同一时间运行的SageMakerTrainingOperator实例数。比如在Operator定义里加pool='sagemaker_training_pool'，然后去Airflow后台的Admin>Pools页面创建这个pool，设置合适的slot数（参考AWS默认限流：ListTrainingJobs每秒最多10次调用）。

• 拉长状态轮询间隔
  默认情况下Operator会频繁调用ListTrainingJobs查任务状态，直接修改poke_interval参数延长轮询间隔，减少API调用次数。比如设置SageMakerTrainingOperator(..., poke_interval=60)，把轮询间隔改成60秒（默认间隔更短）。

• 用SNS通知替代主动轮询
  给SageMaker训练任务配置SNS通知，任务完成时自动发消息，Airflow用SnsSensor监听通知就行，不用一直调用ListTrainingJobs。步骤是先创建SNS主题，然后在SageMaker训练任务的配置里把通知目标设为这个主题，最后用SnsSensor等待任务完成通知。

• 申请提高API限流配额
  如果业务真的需要高并发调用ListTrainingJobs，直接去AWS Support控制台提交配额提升申请，说明清楚业务需求和实际并发量。

内容的提问来源于stack exchange，提问作者user3858193