如何通过Spark SQL Job传递GCP参数至Hive SQL及Airflow中Hive任务参数传递方法

针对你的需求，有两种可靠的参数传递方式，适配Dataproc的Hive任务场景：

方法一：使用Hive的--hivevar参数传递变量 #

通过在Hive任务配置中添加script_variables字段，直接定义要传递的变量，这些变量会以--hivevar的形式传入Hive，你可以在SQL中直接引用。

修改后的任务配置示例：

HIVE_EXE_TASK = {
    "reference": {"project_id": project_id},
    "placement": {"cluster_name": CLUSTER_NAME},
    "hive_job": {  # 注意此处key应为hive_job，而非原配置中的rk_sql_job
        "query_file_uri": f"gs://{BUCKET}/hql/event.hql",
        "script_variables": {
            "target_db": "your_database_name",
            "target_date": "{{ ds }}"  # 可直接使用Airflow内置模板变量
        },
        "properties": {
            "hive.exec.dynamic.partition.mode": "nonstrict",
            "spark.sql.storeAssignmentPolicy": "LEGACY",
            "spark.sql.autoBroadcastJoinThreshold": "-1"
        }
    }
}

在event.hql中直接引用变量：

SELECT * FROM ${target_db}.event_table WHERE dt = '${target_date}';

方法二：通过Airflow模板渲染SQL文件 #

如果需要更复杂的动态逻辑，可直接在HQL文件中使用Airflow模板语法，Airflow会在任务运行前完成文件内容渲染。

1. 将HQL文件放在Airflow可访问的模板目录下，或在Operator中指定template_searchpath
2. 在event.hql中使用模板语法：

SET hive.exec.dynamic.partition.mode=nonstrict;
SELECT * FROM {{ params.target_db }}.event_table WHERE dt = '{{ ds }}';

3. 修改Operator配置，传入参数并启用模板渲染：

dataproc_task = DataprocSubmitJobOperator(
    task_id='run_hive_job',
    job=HIVE_EXE_TASK,
    params={
        "target_db": "your_database_name"
    },
    template_searchpath='/path/to/your/hql/files',  # 指定HQL文件所在目录
    dag=dag
)

关键注意事项 #

• 原配置中的rk_sql_job是错误字段，Dataproc Hive任务对应的正确key为hive_job
• 不可同时混用queries和query_file_uri，二者只能选其一，优先使用query_file_uri引用外部SQL文件
• 若HQL文件存储在GCS中，方法一的script_variables依然有效，Dataproc会自动处理变量注入

内容的提问来源于stack exchange，提问作者Murali