如何获取MWAA中Airflow DAG的并发运行次数?
在MWAA中监控DAG并发运行次数并触发DAG的方案
你提到的
PoolRunningSlots指标确实能匹配DAG并发运行次数,前提是你的DAG绑定了专属的资源池(Pool),且池的slot数量和DAG级并发数设置一致。因为每个运行中的DAG实例会占用池里的一个slot,这种场景下该指标可以准确反映当前DAG的并发运行数,不少用户都遇到过类似的匹配情况。更直接的DAG级监控指标推荐使用
DagRunRunning,这个指标会直接统计指定DAG处于运行状态的实例数量,不需要依赖资源池配置,只需在CloudWatch中通过DagId维度筛选目标DAG即可获取数值,更精准适配你的需求。触发逻辑实现:可以通过CloudWatch告警规则,当监控的并发数指标低于阈值时,触发Lambda函数,让Lambda调用MWAA的
start_dag_runAPI来启动新的DAG实例。注意要给Lambda配置airflow:StartDagRun的权限。
内容的提问来源于stack exchange,提问作者KK2486
相关产品推荐
相关产品推荐

