Airflow记录DAG触发用户返回None的问题排查求助
问题排查及修复方案
常见原因
- 测试方式问题:使用
airflow tasks test命令测试时,该命令不会生成DAG触发的事件日志,查询Log表自然返回None,需要真实触发DAG才能拿到触发用户 - 触发方式问题:如果DAG是定时调度触发的,本身没有对应的操作用户,返回None属于正常现象,只有手动触发、CLI触发、API触发的DAG才会记录操作用户
- Log表过滤条件不兼容:不同Airflow版本的触发事件
event字段值不一致,部分版本手动触发对应的event值为manual、API触发为api_trigger,仅过滤event="trigger"会匹配不到记录 - 时区不匹配:Airflow 2.x默认存储带时区的时间,
kwargs["execution_date"]和Log表中存储的execution_date时区不一致会导致匹配失败 - 日志写入延迟:DAG触发后Log表的写入存在毫秒级延迟,任务启动后立刻查询可能还未写入日志,导致查不到记录
- Airflow版本差异:Airflow 2.x已内置触发用户属性,无需查询Log表,旧的Log表查询方式兼容性下降
修复方案
1. 优先使用内置属性获取触发用户(适配Airflow 2.x,最可靠)
直接从上下文的dag_run对象拿触发用户,无需查询数据库,修改kill_query函数的用户获取逻辑:
def kill_query(**kwargs): triggered_by = None # 优先从dag_run获取触发用户,Airflow 2.x原生支持 dag_run = kwargs.get("dag_run") if dag_run: if hasattr(dag_run, "created_by") and dag_run.created_by: triggered_by = dag_run.created_by.username # 兼容1.x版本的dag_run属性 elif hasattr(dag_run, "external_trigger") and dag_run.external_trigger: # 1.x版本如果是外部触发再走Log表查询逻辑 pass # 兜底走Log表查询逻辑,适配1.x版本 if not triggered_by: with create_session() as session: triggered_by = ( session.query(Log.owner) .filter( Log.dag_id == "killer_dag", # 兼容不同版本的event值 Log.event.in_(["trigger", "manual", "api_trigger", "cli_trigger"]), Log.execution_date == kwargs["execution_date"], ) # 按事件时间倒序取最新的一条 .order_by(Log.dttm.desc()) .limit(1) .scalar() ) # 兜底默认值,避免日志打None triggered_by = triggered_by if triggered_by else "系统调度" # 后续原有逻辑不变
2. 修复SQL注入风险
原有代码直接拼接pid到SQL语句,存在高危SQL注入漏洞,修改为参数化查询:
# 替换原有拼接SQL的逻辑 killer_query = "select pg_terminate_backend(%s);" analdb_cur.execute(killer_query, (pid,))
3. 可选配置校验
如果仍需要使用Log表查询,检查airflow.cfg配置:
- 确认
[core]下的store_serialized_dags配置为True - 确认
[core]下的logging_level不低于INFO,事件日志会正常写入
内容的提问来源于stack exchange,提问作者Radka Žmers
相关产品推荐
相关产品推荐

