使用BigQueryInsertJobOperator时UI手动触发DAG报Invalid job id错误

根因分析 #

报错的核心原因是手动触发DAG时，Airflow生成的执行日期（execution_date）会带有毫秒精度，BigQueryInsertJobOperator默认生成Job ID时会将毫秒部分的小数点（.）带入ID字符串，而BigQuery官方规则明确要求Job ID仅可包含字母、数字、下划线、短横线，小数点属于非法字符，因此触发校验失败。
定时调度时的执行日期是对齐调度周期的整数时间（无毫秒部分），默认生成的Job ID不会包含非法字符，因此运行正常。

解决方案 #

方案1：手动指定合法Job ID（无需升级依赖，兼容性最好） #

你可以主动给BigQueryInsertJobOperator传入符合规则的job_id参数，通过Jinja模板动态生成全局唯一且符合BigQuery规范的ID，自动兼容定时调度和手动触发两种场景：

Stored_Procedure = BigQueryInsertJobOperator(
    task_id='stored_procedure',
    # 新增job_id参数，替换所有非法字符为下划线，保证全局唯一
    job_id="bq_{{ dag.dag_id }}_{{ task.task_id }}_{{ execution_date.strftime('%Y_%m_%dT%H_%M_%S_%f') }}",
    configuration={
        "query": {
            "query": "CALL `project.dataset.procedure`() ",
            "useLegacySql": False,
        }
    },
)

方案2：升级Google Provider依赖版本 #

这个默认Job ID生成的非法字符问题，已经在apache-airflow-providers-google >= 6.0.0版本中被官方修复，升级对应依赖包后不需要修改业务代码即可解决问题。

注意事项 #

手动指定Job ID时，必须保证ID全局唯一，因此需要携带DAG ID、Task ID、执行时间等唯一标识字段，避免ID重复导致任务提交失败。

内容的提问来源于stack exchange，提问作者Shravani_reddie