如何通过GitHub Action向GCP部署支持自定义调度规则的定时查询

完全可以通过GitHub Actions实现基于JSON配置的BigQuery定时查询自动部署，你之前提到的Cloud Function+GCS的方案存在额外API调用和多文件管理的问题，这套方案直接调用BigQuery原生定时查询能力，不需要额外依赖其他GCP服务，也可以和你现有DBT工作流兼容。

前置准备 #

• 先在GCP IAM中创建专门的服务账号，授予BigQuery Data Editor、BigQuery Job User、BigQuery Scheduled Query Admin三个必要权限，导出服务账号的JSON密钥，存到对应GitHub仓库的Secrets中，命名为GCP_SA_KEY
• 提前启用你GCP项目的BigQuery Scheduled Queries API

配置文件结构 #

你可以直接在仓库中维护两类文件，所有配置都可以版本化管理：

• 带参数的SQL查询文件（比如存放在bq_queries/目录下，和你现有DBT的SQL管理逻辑保持一致）
• 调度配置JSON文件（比如存放在bq_schedules/目录下），示例结构如下：

{
  "project_id": "你的GCP项目ID",
  "dataset_id": "目标数据集ID",
  "query_file": "bq_queries/daily_user_stats.sql",
  "schedule": "every 24 hours",
  "time_zone": "Asia/Shanghai",
  "destination_table": "daily_user_stats",
  "write_disposition": "WRITE_TRUNCATE",
  "query_params": [
    {"name": "start_date", "type": "DATE", "value": "DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)"},
    {"name": "end_date", "type": "DATE", "value": "CURRENT_DATE()"}
  ]
}

GitHub Actions 工作流配置 #

在仓库的.github/workflows/deploy-bq-schedules.yml路径下编写工作流，触发条件可以设置为配置/查询文件更新时自动触发，也支持手动触发：

name: Deploy BigQuery Scheduled Queries
on:
  push:
    branches: [ main ]
    paths:
      - 'bq_queries/**'
      - 'bq_schedules/**'
  workflow_dispatch:

jobs:
  deploy:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      
      - name: Authenticate to GCP
        uses: google-github-actions/auth@v2
        with:
          credentials_json: ${{ secrets.GCP_SA_KEY }}
          project_id: 你的GCP项目ID
      
      - name: Set up Cloud SDK
        uses: google-github-actions/setup-gcloud@v2
      
      - name: Install jq for JSON parsing
        run: sudo apt-get install -y jq
      
      - name: Deploy all scheduled queries
        run: |
          # 遍历所有调度配置文件
          for schedule_file in bq_schedules/*.json; do
            # 读取配置参数
            PROJECT_ID=$(jq -r '.project_id' $schedule_file)
            DATASET_ID=$(jq -r '.dataset_id' $schedule_file)
            QUERY_FILE=$(jq -r '.query_file' $schedule_file)
            SCHEDULE=$(jq -r '.schedule' $schedule_file)
            TIME_ZONE=$(jq -r '.time_zone' $schedule_file)
            DEST_TABLE=$(jq -r '.destination_table' $schedule_file)
            WRITE_DISPOSITION=$(jq -r '.write_disposition' $schedule_file)
            
            # 读取查询内容
            QUERY_CONTENT=$(cat $QUERY_FILE)
            
            # 调用bq命令创建/更新定时查询
            bq query \
              --project_id=$PROJECT_ID \
              --dataset_id=$DATASET_ID \
              --destination_table=$DEST_TABLE \
              --write_disposition=$WRITE_DISPOSITION \
              --schedule="$SCHEDULE" \
              --time_zone="$TIME_ZONE" \
              --display_name="scheduled_$(basename $schedule_file .json)" \
              --use_legacy_sql=false \
              "$QUERY_CONTENT"
          done

兼容优化建议 #

• 如果需要和你现有DBT工作流配合，可以在部署步骤前增加dbt compile步骤，直接读取DBT编译后的最终SQL传入定时查询，不需要单独维护BigQuery查询文件
• 可以在部署步骤前增加校验逻辑，验证SQL语法正确性、配置参数完整性，避免无效部署
• 可以给定时查询添加自定义标签，方便后续批量管理、成本核算

内容的提问来源于stack exchange，提问作者iNano