Airflow 1.10.9（AKS部署）任务状态不一致问题求助

关于enable_tcp_keepalive = True的适配性 #

Airflow 1.10.9本身没有内置enable_tcp_keepalive配置项——这个参数是Airflow 2.0及以后版本才加入的官方配置。不过可以通过两种方式间接实现相同效果：

• 修改Kubernetes Executor源码：找到airflow/contrib/executors/kubernetes_executor.py文件，手动在Pod创建或K8s API调用逻辑中添加TCP keepalive相关参数，重新打包Airflow镜像后部署。注意这种方式属于定制化修改，后续维护成本较高，升级时需重新调整。
• 集群层面配置TCP keepalive：在AKS所有节点上调整内核TCP参数，比如设置net.ipv4.tcp_keepalive_time=60、net.ipv4.tcp_keepalive_intvl=10、net.ipv4.tcp_keepalive_probes=3，确保Airflow与K8s之间的TCP连接不会因长时间无数据传输被误判为活跃。可以用DaemonSet批量修改所有节点的内核参数。

其他可行解决方案 #

• 自定义状态同步脚本：部署一个K8s CronJob，定期对比Airflow元数据库task_instance表的任务状态与K8s中对应Pod的实际状态。如果发现Pod已Completed但Airflow任务仍显示Running，直接更新数据库中任务的state字段（根据Pod退出码设为success或failed）。
• 优化任务超时配置：在DAG中为每个任务设置execution_timeout，让无响应的任务自动被标记为失败；同时调整Kubernetes Executor的pod_launch_timeout等参数，优化Pod状态同步的时间窗口。
• 添加Sidecar容器监控：给Airflow任务Pod添加Sidecar容器，监控主容器的运行状态。当主容器退出时，Sidecar通过Airflow API或CLI主动标记任务完成，避免状态不同步。

内容的提问来源于stack exchange，提问作者Himanshu Malhotra