如何在Cloud Build步骤中执行BigQuery时传入多个SQL源文件

原配置局限 #

你的原有Cloud Build配置仅支持单个SQL文件执行，以下是两种实用的修改方案，实现批量运行多个SQL文件：

方案一：遍历执行单个SQL文件 #

通过bash循环遍历所有指定的SQL文件，逐个调用bq query执行。修改后的Cloud Build配置如下：

steps:
- name: gcr.io/cloud-builders/gcloud
  args:
  - config
  - set
  - project
  - '${_PROJECT_ID}'
- name: gcr.io/cloud-builders/gcloud
  entrypoint: bash
  args:
  - -c
  - |
    # 遍历所有传入的SQL文件并执行
    for sql_file in ${_SQL_FILES}; do
      bq query \
        --use_legacy_sql=false \
        --project_id=${_PROJECT_ID} \
        --dataset=${_PROJECT_ID}:${_DATASET_ID} \
        --source="$sql_file"
    done

使用方式：
触发构建时，通过--substitutions参数传入多个SQL文件路径（空格分隔）：

gcloud builds submit --substitutions _PROJECT_ID=your-project,_DATASET_ID=your-dataset,_SQL_FILES="path/to/file1.sql path/to/file2.sql path/to/file3.sql"

方案二：合并SQL文件后批量执行 #

如果SQL文件之间无依赖且可顺序执行，可先将所有SQL文件合并为一个临时文件，再一次性执行：

steps:
- name: gcr.io/cloud-builders/gcloud
  args:
  - config
  - set
  - project
  - '${_PROJECT_ID}'
- name: gcr.io/cloud-builders/gcloud
  entrypoint: bash
  args:
  - -c
  - |
    # 合并所有指定SQL文件到临时文件
    cat ${_SQL_FILES} > combined_temp.sql
    # 执行合并后的SQL文件
    bq query \
      --use_legacy_sql=false \
      --project_id=${_PROJECT_ID} \
      --dataset=${_PROJECT_ID}:${_DATASET_ID} \
      --source=combined_temp.sql

使用方式：
与方案一相同，通过--substitutions传入多个SQL文件路径即可。

注意事项 #

• 确保所有SQL文件路径在Cloud Build工作目录中可访问（需提前提交到代码仓库，或通过gsutil cp从云存储拉取）
• 若SQL文件存在执行顺序要求，需按正确顺序传入文件名
• 如需忽略单个SQL执行失败继续后续任务，可在步骤中添加continueOnFailure: true

内容的提问来源于stack exchange，提问作者Bajjuri sushmitha