如何通过Google Cloud Build部署Java版Dataflow（Apache Beam）模板至GCS？

1. Dockerfile 配置 #

假设你的项目用Maven构建，以下Dockerfile会准备构建环境、打包项目，并定义生成模板的执行命令：

# 基于Maven镜像构建项目
FROM maven:3.8.6-openjdk-11 AS builder

# 设置工作目录
WORKDIR /app

# 复制项目依赖配置和源码
COPY pom.xml .
COPY src ./src

# 打包项目（跳过测试环节加速构建）
RUN mvn clean package -DskipTests

# 定义生成模板的命令，替换以下占位符为你的实际信息
CMD ["java", "-cp", "target/你的项目jar包名称.jar", "你的管道类全限定名", \
     "--runner=DataflowRunner", \
     "--region=europe-west1", \
     "--templateLocation=gs://你的GCS存储桶/templates/log_v2", \
     "--tempLocation=gs://你的GCS存储桶/temp/batch", \
     "--stagingLocation=gs://你的GCS存储桶/temp/staging", \
     "--maxNumWorkers=10"]

如果你的项目用Gradle构建，替换为以下Dockerfile：

FROM gradle:7.6-jdk11 AS builder
WORKDIR /app
COPY build.gradle settings.gradle ./
COPY src ./src
RUN gradle build -x test

CMD ["java", "-cp", "build/libs/你的项目jar包名称.jar", "你的管道类全限定名", \
     "--runner=DataflowRunner", \
     "--region=europe-west1", \
     "--templateLocation=gs://你的GCS存储桶/templates/log_v2", \
     "--tempLocation=gs://你的GCS存储桶/temp/batch", \
     "--stagingLocation=gs://你的GCS存储桶/temp/staging", \
     "--maxNumWorkers=10"]

2. cloudbuild.yaml 配置 #

这个配置文件会完成Docker镜像构建、运行镜像生成并上传模板到GCS的流程：

steps:
  # 第一步：构建用于生成模板的Docker镜像
  - name: 'gcr.io/cloud-builders/docker'
    args: ['build', '-t', 'gcr.io/$PROJECT_ID/beam-template-builder', '.']

  # 第二步：运行镜像，触发模板生成并上传到GCS
  - name: 'gcr.io/$PROJECT_ID/beam-template-builder'
    env:
      - 'GOOGLE_CLOUD_PROJECT=$PROJECT_ID'

# 可选：配置缓存Maven/Gradle依赖，加速后续构建
options:
  cache:
    paths:
      - '/root/.m2/repository/**'  # Maven缓存路径
      # 用Gradle的话替换为 '/home/gradle/.gradle/caches/**'

# 可选：指定自定义服务账号（如果默认权限不足）
# serviceAccount: 'projects/$PROJECT_ID/serviceAccounts/你的服务账号@$PROJECT_ID.iam.gserviceaccount.com'

核心注意事项 #

• 权限要求：确保Cloud Build默认服务账号（项目编号@cloudbuild.gserviceaccount.com）拥有以下权限：
  • GCS存储桶的storage.objects.create、storage.objects.list权限（用于上传模板）
  • Dataflow的dataflow.templates.create权限（用于生成模板）
• 模板生成逻辑：Beam的DataflowRunner在指定templateLocation参数时，只会生成模板并上传到GCS，不会实际运行管道作业，完全符合你的需求。

3. 执行构建命令 #

在项目根目录运行以下命令提交Cloud Build任务：

gcloud builds submit --config cloudbuild.yaml .

任务完成后，模板会自动上传到你指定的GCS路径，后续可直接用该模板创建Dataflow触发器。

内容的提问来源于stack exchange，提问作者Mohamed Haydar