使用SparkKubernetesOperator时airflow-db-cleanup.py DAG需调整导入或逻辑吗?
问题解答
- 你参考的元数据清理DAG仅依赖Airflow标准模型(
DagRun、TaskInstance等),核心逻辑就是清理Airflow元数据库里的老化数据,和你使用的SparkKubernetesOperator没有直接关联。 - 既然你已经通过
delete_on_termination这类参数单独处理Kubernetes CRDs的清理,完全不影响这个DAG的执行逻辑。 - 结合你用的
apache-airflow-providers-cncf-kubernetes7.3.0版本(该版本适配Airflow 2.x),只要你的Airflow主版本是2.x,这个示例DAG无需修改导入或核心逻辑就能直接使用。 - 提醒:上线前务必在测试环境验证,根据自身业务需求调整清理天数、保留规则等参数,防止误删有效元数据。
内容的提问来源于stack exchange,提问作者Jelly
相关产品推荐
相关产品推荐

