You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用SparkKubernetesOperator时airflow-db-cleanup.py DAG需调整导入或逻辑吗?

问题解答
  • 你参考的元数据清理DAG仅依赖Airflow标准模型(DagRun、TaskInstance等),核心逻辑就是清理Airflow元数据库里的老化数据,和你使用的SparkKubernetesOperator没有直接关联。
  • 既然你已经通过delete_on_termination这类参数单独处理Kubernetes CRDs的清理,完全不影响这个DAG的执行逻辑。
  • 结合你用的apache-airflow-providers-cncf-kubernetes 7.3.0版本(该版本适配Airflow 2.x),只要你的Airflow主版本是2.x,这个示例DAG无需修改导入或核心逻辑就能直接使用。
  • 提醒:上线前务必在测试环境验证,根据自身业务需求调整清理天数、保留规则等参数,防止误删有效元数据。

内容的提问来源于stack exchange,提问作者Jelly

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.18 12:02:03