如何让BigQuery表仅在每次DAG运行时调用而非Airflow每次刷新时？

问题根源 #

Airflow的调度器和Web服务器会定期解析DAG文件（默认每隔30秒一次），如果你的BigQuery查询逻辑写在DAG文件的全局作用域（比如顶层初始化客户端、构建DAG时调用查询函数），那么每次解析都会触发查询，这就是刷新时反复查BQ的原因。

核心解决方案 #

将所有BigQuery查询逻辑限制在任务执行阶段，而非DAG解析阶段：

• 不要在DAG文件的全局区域初始化BigQuery客户端或调用查询函数
• 所有查询操作只在任务的python_callable函数内部执行

修改后的代码示例 #

from airflow.operators.shortcircuit import ShortCircuitOperator
from airflow.providers.google.cloud.hooks.bigquery import BigQueryHook

def create_query_lists():
    # 改用Airflow的BigQueryHook获取客户端，而非全局初始化
    # 替换成你的GCP连接ID（在Airflow UI的Connections中配置）
    hook = BigQueryHook(gcp_conn_id="your_gcp_connection_id")
    client = hook.get_client()
    
    query_job = client.query(
        """
        SELECT filename
        FROM `requests`
        """
    )
    results = query_job.result()
    # 简化列表生成
    return [row.filename for row in results]

def check_contents(**context):
    results_list = create_query_lists()
    if not results_list:
        raise ValueError('Nothing to do')
    
    print("There's stuff to do")
    return True

# 构建短路检查任务
check_list = ShortCircuitOperator(
    task_id="check_column_not_empty",
    python_callable=check_contents,
    # Airflow 2.x+ 无需provide_context=True，如需上下文参数直接在函数中加**context即可
)

# 后续任务依赖示例（根据你的实际流程调整）
# check_list >> your_downstream_task

额外优化：避免重复查询 #

如果后续任务也需要使用create_query_lists的结果，可以通过XCom传递数据，避免多次查询BigQuery：

def check_contents(**context):
    results_list = create_query_lists()
    if not results_list:
        raise ValueError('Nothing to do')
    
    # 将结果推送到XCom，供后续任务获取
    context['ti'].xcom_push(key='filename_list', value=results_list)
    print("There's stuff to do")
    return True

# 后续任务示例
def process_files(**context):
    # 从XCom拉取之前查询的结果
    filename_list = context['ti'].xcom_pull(
        key='filename_list',
        task_ids='check_column_not_empty'
    )
    # 在这里处理文件逻辑

关键注意事项 #

• 永远不要在DAG文件的全局作用域执行有成本或耗时的操作（数据库查询、API调用等），Airflow会频繁解析DAG文件，导致重复执行
• 优先使用Airflow官方提供的Hook（如BigQueryHook）而非直接调用SDK客户端，便于利用Airflow的连接管理和运维能力

内容的提问来源于stack exchange，提问作者Empty Whale