Airflow日志中Operator重复执行：执行日期不一致问题咨询

Hey there, 刚接触Airflow就遇到这种诡异的重复执行问题确实闹心，不过别慌，结合你给出的日志和代码，我给你梳理几个实用的排查方向：

1. 先查调度器的"健康状况" #

从日志里能看到两次执行隔了十多天（3月29日→4月9日），首先得确认这段时间Airflow调度器有没有被重启过，或者有没有崩溃、失联的情况：

• 调度器重启后会重新扫描所有未标记为成功的任务实例，如果第一次执行后任务状态没被正确更新，调度器就会误以为任务没完成，再次触发执行
• 去翻调度器的日志，搜搜有没有Scheduler shutting down或者重启后的初始化日志，看看是不是调度器重启搞的鬼

2. 扒一扒任务实例的状态历史 #

不管是用Airflow UI还是直接查元数据库，都要去看看这个create_log_dir任务（执行时间2018-03-04T07:00:00+00:00）的状态变化：

• 第一次执行完（3月29日），任务状态是不是真的被标记成success了？如果它卡在running或者queued状态，调度器肯定会重复触发
• 用CLI命令查状态更直接：

  airflow tasks state kroger create_log_dir 2018-03-04T07:00:00+00:00
  

  也可以直接查元数据库的task_instance表，看看state和end_date这两个字段是不是正常——如果end_date是空的，说明Airflow没认为任务已经结束

3. 回补相关的配置要再核对一遍 #

你的DAG开了catchup=True，回补过程中这些点要注意：

• 之前有没有手动中断过回补任务？如果回补被中途终止，未完成的任务会在后续被重新调度
• 虽然你注释了pool: 'backfill'，但如果集群有资源池限制，任务可能因为抢不到资源一直排队，等资源释放后又被触发执行
• 你的默认参数设了retries:3，日志里显示Starting attempt 1 of 4，第一次执行真的成功了吗？去翻第一次执行的完整日志，看看有没有隐性失败——比如脚本返回码是0，但实际执行出了问题，或者Airflow没正确捕获结束状态

4. 元数据库的一致性不能忽略 #

Airflow的任务状态全靠元数据库撑着，如果数据库出了事务异常、数据不一致，调度器就会判错：

• 查元数据库的日志，有没有死锁、连接中断这类异常？
• 手动去task_instance表里找这个任务的记录：看看start_date、end_date、state、attempt_number这些字段有没有奇怪的值，要是出现了多条相同task_id+execution_date的记录，那就是元数据重复了，得备份后手动清理

5. 确认PythonOperator的逻辑是不是"可重入"的 #

虽然你说代码评审没问题，但还是要确认utils.create_account_dirs这个函数是不是可重入的：

• 函数会不会依赖execution_date做操作？如果逻辑和执行时间无关，重复执行可能没影响，但要是有状态依赖，说不定藏着隐患
• 看看函数执行时有没有长时间的IO操作，会不会导致Airflow误以为任务超时触发重试？不过你的日志里第一次执行没超时记录，这点可以先放次要位置

要是上面这些排查都没找到问题，你可以补充这些信息帮我进一步定位：

• Airflow的具体版本（不同版本调度器逻辑差异不小）
• 调度器的关键配置，比如max_tis_per_dag、scheduler_heartbeat_sec这些
• 第一次执行（3月29日）的完整日志，看看有没有异常退出或者状态没更新的细节

内容的提问来源于stack exchange，提问作者lucid_goose