如何将gcloud Dataflow Flex Template构建运行命令转换为Terraform实现

核心实现思路 #

Terraform官方Google Provider没有提供原生的Flex Template构建资源，你可以通过两种方案实现第一条gcloud dataflow flex-template build命令的功能：

方案1：用null_resource调用本地gcloud命令（最易用，推荐快速落地） #

直接复用你现有可用的构建命令，通过Terraform的本地执行能力触发构建，同时支持文件变更检测自动重新构建：

# 相关变量定义
variable "template_gcs_path" {
  type        = string
  description = "Flex Template最终输出的GCS路径，格式为gs://<bucket>/<path>/template.json"
}
variable "target_gcr_image" {
  type        = string
  description = "构建生成的业务镜像在GCR/Artifact Registry的存储路径"
}
variable "base_container_image" {
  type        = string
  default     = "gcr.io/dataflow-templates-base/java11-template-launcher-base:latest"
  description = "Dataflow Flex Template官方基础镜像"
}
variable "local_jar_path" {
  type        = string
  default     = "/Users/b.j/g/codebase/g-dataflow/pubsub-lite/target/debian/pubsub-lite-0.0.1-SNAPSHOT-uber.jar"
}
variable "local_metadata_path" {
  type        = string
  default     = "/Users/b.j/g/codebase/g-dataflow/pubsub-lite/src/main/resources/g_pubsublite_to_gcs_metadata.json"
}
variable "java_main_class" {
  type        = string
  default     = "com.in.g.gr.dataflow.PubSubLiteToGCS"
}
variable "region" {
  type = string
}
variable "subscription" {
  type = string
}
variable "output_dir" {
  type = string
}
variable "window_size_in_secs" {
  type = string
}
variable "partition_level" {
  type = string
}
variable "num_shards" {
  type = string
}
variable "subnetwork" {
  type = string
}
variable "network" {
  type = string
}
variable "staging_location" {
  type = string
}

# 执行Flex Template构建
resource "null_resource" "flex_template_build" {
  # 当JAR包、元数据文件、基础镜像变更时自动触发重新构建
  triggers = {
    jar_file_hash      = filemd5(var.local_jar_path)
    metadata_file_hash = filemd5(var.local_metadata_path)
    base_image_tag     = var.base_container_image
  }

  provisioner "local-exec" {
    command = <<EOT
gcloud dataflow flex-template build ${var.template_gcs_path} \
  --image-gcr-path "${var.target_gcr_image}" \
  --sdk-language "JAVA" \
  --flex-template-base-image ${var.base_container_image} \
  --metadata-file "${var.local_metadata_path}" \
  --jar "${var.local_jar_path}" \
  --env FLEX_TEMPLATE_JAVA_MAIN_CLASS="${var.java_main_class}"
EOT
  }
}

# 你已有的作业运行资源可以直接依赖构建结果
resource "google_dataflow_flex_template_job" "pubsub_lite_job" {
  provider = google-beta
  name     = "pub-sub-lite-flex-${formatdate("YYYYMMDD-HHmmss", timestamp())}"
  region   = var.region
  template_gcs_path = var.template_gcs_path
  parameters = {
    subscription    = var.subscription
    output          = var.output_dir
    windowSize      = var.window_size_in_secs
    partitionLevel  = var.partition_level
    numOfShards     = var.num_shards
  }
  subnetwork = var.subnetwork
  network    = var.network
  staging_location = var.staging_location
  # 依赖构建步骤完成后再运行作业
  depends_on = [null_resource.flex_template_build]
}

该方案的优势是完全复用现有构建逻辑，不需要额外调整流程，仅需要本地环境安装gcloud、docker，且账号拥有GCR/AR读写、Dataflow构建权限即可。

方案2：拆分构建步骤用云原生资源实现（无本地依赖，适合CI/CD场景） #

如果需要避免依赖本地环境，可以把构建流程拆分为三个步骤用Terraform原生资源实现：

• 用google_storage_bucket_object资源将本地JAR包、元数据文件上传到GCS存储桶
• 用google_cloudbuild_trigger资源配置Cloud Build任务，拉取GCS中的JAR、基础镜像构建业务镜像，推送到Artifact Registry/GCR
• 生成Flex Template的JSON描述文件，用google_storage_bucket_object上传到指定的GCS模板路径，格式和gcloud构建生成的模板文件一致即可

• 如果使用方案1，不需要提前上传JAR到GCS，gcloud命令会自动读取本地JAR包并打包到Docker镜像中，只需要保证本地路径可正确读取JAR即可
• 如果使用方案2，优先选择提前上传到GCS存储桶的方式：
  1. 用Terraform的google_storage_bucket_object资源上传JAR，自动根据文件哈希判断是否需要重新上传
  2. Cloud Build构建镜像时直接从GCS拉取JAR，实现JAR构建和镜像打包的流程解耦
  3. 适合JAR包是单独构建流程产出、跨环境复用的场景

最优实践：如果是本地开发测试场景直接用本地JAR构建即可，如果是生产CI/CD流程，先将JAR上传到GCS存储桶再进行后续构建，同时给存储桶配置最小权限，仅允许构建账号读取。

内容的提问来源于stack exchange，提问作者Sanjay M. P.