You need to enable JavaScript to run this app. Airflow记录DAG触发用户返回None的问题排查求助
优惠活动
大模型
产品
解决方案
定价
更多

Airflow记录DAG触发用户返回None的问题排查求助

问题排查及修复方案

常见原因

  • 测试方式问题:使用airflow tasks test命令测试时,该命令不会生成DAG触发的事件日志,查询Log表自然返回None,需要真实触发DAG才能拿到触发用户
  • 触发方式问题:如果DAG是定时调度触发的,本身没有对应的操作用户,返回None属于正常现象,只有手动触发、CLI触发、API触发的DAG才会记录操作用户
  • Log表过滤条件不兼容:不同Airflow版本的触发事件event字段值不一致,部分版本手动触发对应的event值为manual、API触发为api_trigger,仅过滤event="trigger"会匹配不到记录
  • 时区不匹配:Airflow 2.x默认存储带时区的时间,kwargs["execution_date"]和Log表中存储的execution_date时区不一致会导致匹配失败
  • 日志写入延迟:DAG触发后Log表的写入存在毫秒级延迟,任务启动后立刻查询可能还未写入日志,导致查不到记录
  • Airflow版本差异:Airflow 2.x已内置触发用户属性,无需查询Log表,旧的Log表查询方式兼容性下降

修复方案

1. 优先使用内置属性获取触发用户(适配Airflow 2.x,最可靠)

直接从上下文的dag_run对象拿触发用户,无需查询数据库,修改kill_query函数的用户获取逻辑:

def kill_query(**kwargs):
    triggered_by = None
    # 优先从dag_run获取触发用户,Airflow 2.x原生支持
    dag_run = kwargs.get("dag_run")
    if dag_run:
        if hasattr(dag_run, "created_by") and dag_run.created_by:
            triggered_by = dag_run.created_by.username
        # 兼容1.x版本的dag_run属性
        elif hasattr(dag_run, "external_trigger") and dag_run.external_trigger:
            # 1.x版本如果是外部触发再走Log表查询逻辑
            pass

    # 兜底走Log表查询逻辑,适配1.x版本
    if not triggered_by:
        with create_session() as session:
            triggered_by = (
                session.query(Log.owner)
                .filter(
                    Log.dag_id == "killer_dag",
                    # 兼容不同版本的event值
                    Log.event.in_(["trigger", "manual", "api_trigger", "cli_trigger"]),
                    Log.execution_date == kwargs["execution_date"],
                )
                # 按事件时间倒序取最新的一条
                .order_by(Log.dttm.desc())
                .limit(1)
                .scalar()
            )
    # 兜底默认值,避免日志打None
    triggered_by = triggered_by if triggered_by else "系统调度"
    # 后续原有逻辑不变

2. 修复SQL注入风险

原有代码直接拼接pid到SQL语句,存在高危SQL注入漏洞,修改为参数化查询:

# 替换原有拼接SQL的逻辑
killer_query = "select pg_terminate_backend(%s);"
analdb_cur.execute(killer_query, (pid,))

3. 可选配置校验

如果仍需要使用Log表查询,检查airflow.cfg配置:

  • 确认[core]下的store_serialized_dags配置为True
  • 确认[core]下的logging_level不低于INFO,事件日志会正常写入

内容的提问来源于stack exchange,提问作者Radka Žmers

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 14:24:02