BigQuery如何通过dry_run不执行SELECT语句直接获取输出Schema？

完全可以通过Dry Run模式不执行SELECT语句就获取输出Schema，你的思路是正确的，之前未拿到返回结果大概率是没有正确读取QueryJob返回的schema字段，且需要注意Dry Run的对象是视图定义中的核心SELECT语句，而非带CREATE VIEW的DDL语句。

实现逻辑 #

将原有先创建视图后校验Schema的流程调整为预校验流程：

• 渲染得到视图定义的核心SELECT查询语句
• 对SELECT语句执行Dry Run，提取输出Schema
• 将返回的Schema转换为和本地JSON Schema一致的格式完成校验
• 校验通过后再执行CREATE VIEW的DDL语句

代码示例 #

# 首先渲染视图的核心SELECT语句，不包裹CREATE VIEW逻辑
select_sql = templating.render(path, render_context)

if schema_path is not None:
    # 加载本地预期Schema
    with open(schema_path, 'r') as f:
        expected_schema = json.load(f)
    
    bq_hook = BigQueryHook(location="northamerica-northeast1", use_legacy_sql=False)
    # 获取BigQuery原生客户端实例
    client = bq_hook.get_client()
    
    # 配置Dry Run任务参数
    job_config = client.query_job_config()
    job_config.dry_run = True
    job_config.use_legacy_sql = False
    
    # 提交Dry Run请求，不会实际执行查询、不会产生计费扫描量
    query_job = client.query(select_sql, job_config=job_config)
    
    # 从返回的Job对象中提取Schema，转换为和你现有Schema匹配的格式
    actual_schema = []
    for field in query_job.schema:
        actual_schema.append({
            "name": field.name,
            "type": field.field_type,
            "mode": field.mode if field.mode is not None else "NULLABLE"
        })
    
    # 执行Schema校验
    assert actual_schema == expected_schema, "查询输出Schema与本地定义不匹配"

# 校验通过后再执行创建视图的逻辑
create_view_sql = (
    f"CREATE OR REPLACE VIEW `{project}`.{dataset_key}.{table_name} AS (\n" +
    select_sql + "\n" +
    ")"
)
BigQueryOperator(
    task_id=f"view_{table_name}",
    sql=create_view_sql,
    use_legacy_sql=False,
).execute(context=context)

注意事项 #

• Dry Run仅完成SQL语法校验、依赖权限校验、输出Schema计算，不会触发实际数据扫描、也不会校验运行时数据错误（如除零、数组越界等），完全满足预校验Schema的需求
• 提取的Schema字段顺序和查询输出的字段顺序完全一致，和原有从INFORMATION_SCHEMA拉取的校验逻辑兼容
• 如果使用的Airflow BigQueryHook版本较低不支持直接获取client，也可以直接调用BigQuery REST API提交Dry Run请求，逻辑完全一致

内容的提问来源于stack exchange，提问作者Philippe Hebert