如何通过Terraform在Cloud Workflow中传递BigQuery查询参数

问题根源 #

当前错误的核心原因：

1. 你的query.sql被Terraform的templatefile替换后，BigQuery实际收到的是硬编码的input.run_dt字符串，而非参数化的@run_dt占位符
2. 未在BigQuery作业配置中声明queryParameters传递参数值，导致BigQuery找不到run_dt参数的实际值

修正步骤 #

1. 保留query.sql的参数化写法 #

不要修改query.sql，维持原生的参数化查询格式：

SELECT * FROM `project.dataset.table-name`
WHERE sv.dt=@run_dt

2. 修改Terraform的Workflow配置 #

调整source_contents中的BigQuery作业部分，移除对query.sql的变量替换，同时添加queryParameters传递Workflow中的run_dt值：

resource "google_workflows_workflow" "workflow_name" {
  name            = "workflow"
  region          = "location"
  description     = "description"
  source_contents = <<-EOF

main:
  params: [input]
  steps:
    - init:
        assign:
          - project_id: ${var.project}
          - location: ${var.region}
          - run_dt: ${map.get(input, "run_dt")} # 若input是对象，也可直接写input.run_dt
          
    - runQuery: 
        steps:
          - insert_query:
              call: googleapis.bigquery.v2.jobs.insert
              args:
                projectId: ${var.project}
                body:
                  configuration:
                    query:
                      query: ${replace(file("../../bq-queries/query.sql"), "\n", " ")} # 直接读取原查询文件
                      queryParameters: # 新增参数声明
                        - name: run_dt
                          parameterType:
                            type: STRING # 根据你的dt字段类型调整，比如DATE、TIMESTAMP
                          parameterValue:
                            value: "${run_dt}" # 引用Workflow中的run_dt变量
                      destinationTable:
                        projectId: ${var.project}
                        datasetId: "dataset-name"
                        tableId: "table-name"
                      create_disposition: "CREATE_IF_NEEDED"  
                      write_disposition: "WRITE_APPEND"  
                      allowLargeResults: true
                      useLegacySql: false
                      partitioning_field: "dt"
    - the_end:
            return: "SUCCESS"
EOF
}

关键细节说明 #

• Terraform与Workflow变量区分：
  • Terraform变量用${var.x}，部署时直接替换为实际值
  • Workflow自身变量需要让Terraform输出为${x}，在Heredoc中可通过"${x}"让Terraform自动转义
• BigQuery参数化要求：必须同时保留查询语句中的@参数名，并在queryParameters中声明参数类型和对应值
• input变量读取：若Workflow输入是对象（如{"run_dt": "2024-01-01"}），input.run_dt是合法写法；map.get(input, "run_dt")可处理输入为空的情况

之前尝试写法的错误原因 #

1. 不带引号写input.run_dt：Terraform会将其识别为自身的资源/变量，而非Workflow变量，因此报错未声明
2. 写为$${input.run_dt}：Workflow语法中变量引用无需额外$，该写法会被判定为非法字符
3. 写为${input.run_dt}：直接在Terraform Heredoc中写会被解析为Terraform自身变量，而非传递给Workflow，因此报错表达式无效

内容的提问来源于stack exchange，提问作者R F Ramadanti