Airflow 1.10.10动态生成KubernetesPodOperator任务成功后消失求助

我之前碰到过和你几乎一模一样的问题！结合你描述的这些症状——用KubernetesPodOperator动态生成的任务执行完成后，过段时间从Graph View消失，任务实例详情页几分钟后也无法访问，还有DAG表的owner字段变为空值，再加上你提到的AIRFLOW-7116相关Bug，给你梳理几个关键的分析方向和解决思路：

1. 任务实例被标记为removed的核心原因
   任务实例进入removed状态大概率和Airflow的自动清理机制有关。Airflow会定期清理过期或被判定为“无效”的任务实例，如果你动态生成的任务带有临时特征（比如task_id或dag_id用了随机值、时间戳），很容易被清理逻辑误判。
   建议检查airflow.cfg里的清理配置：

   • max_task_instance_age：任务实例保留的最长时间
   • cleanup_interval：自动清理的执行间隔
   • dag_cleanup_interval：DAG元数据的清理间隔
     可以临时调大这些参数，或者先关闭自动清理，验证是否是清理机制导致的问题。

2. DAG所有者字段变空的修复
   这通常是动态生成DAG时的元数据持久化问题。如果你是在运行时动态创建DAG对象，一定要显式设置owner属性，并且确保DAG的生成逻辑是幂等的（多次解析不会生成不一致的DAG结构）。示例代码：

   from airflow import DAG
   from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
   from datetime import datetime
   
   def generate_dynamic_dag():
       dag = DAG(
           dag_id="my_dynamic_dag",
           owner="your_owner_name",  # 必须显式设置
           start_date=datetime(2024, 1, 1),
           schedule_interval=None
       )
       with dag:
           KubernetesPodOperator(
               task_id="dynamic_task",
               name="dynamic-task",
               image="python:3.9",
               cmds=["python", "-c", "print('Hello World')"]
           )
       return dag
   
   # 确保动态DAG能被Airflow识别
   globals()["my_dynamic_dag"] = generate_dynamic_dag()
   

   另外，重启Airflow调度器和Webserver，确保新的元数据能同步到数据库中。

3. 结合AIRFLOW-7116 Bug的版本升级建议
   你提到的这个Bug确实涉及动态DAG任务实例被错误标记为removed、DAG元数据丢失（包括owner字段）的问题。这个Bug在Airflow 1.10.10及后续版本中已经被修复，如果你当前使用的是更早的版本，强烈建议升级到稳定的新版本，这能从根源上解决这类动态任务的元数据管理问题。

4. 状态不一致的临时修复
   当dagrun已经处于success状态，但任务实例被标记为removed，这说明Airflow的状态同步出现了异常。可以尝试：

   • 手动在Airflow UI中刷新DAG状态
   • 执行airflow db sync命令强制同步元数据
   • 避免在dagrun完成后修改对应的DAG结构，这会加剧状态不匹配的问题

内容的提问来源于stack exchange，提问作者alltej