使用Terraform部署GCP Python Cloud Functions时如何添加自定义构建步骤？

问题背景 #

使用Terraform部署Cloud Function v2时，需要集成Protobuf编译步骤，但直接在函数根目录放置cloudbuild.yaml不会生效——Cloud Function v2的Terraform build_config不支持自定义构建配置，Cloud Build会默认采用官方流程，忽略自定义的cloudbuild文件。当前临时方案是本地编译后再打包上传，需实现全流程自动化。

方案1：Terraform local_exec 前置编译（推荐） #

将Protobuf编译步骤嵌入Terraflow流程，通过local_exec在函数打包前自动执行本地编译，无需依赖Cloud Build，且仅当proto文件变化时触发。

示例代码：

# 编译Protobuf文件的资源
resource "null_resource" "compile_protobuf" {
  triggers = {
    # 监听proto文件变化，仅当文件修改时重新编译
    proto_files_hash = sha1(join("", [for f in fileset("${path.module}/function", "*.proto") : file(f)]))
  }

  provisioner "local-exec" {
    command = <<EOT
      # 确保本地已安装protobuf编译器，可根据环境调整安装命令
      # Debian/Ubuntu: apt-get install -y protobuf-compiler
      # macOS: brew install protobuf
      
      # 编译proto文件到函数代码目录
      protoc --python_out=${path.module}/function ${path.module}/function/*.proto
    EOT
  }
}

# 部署Cloud Function，依赖编译完成后执行
resource "google_cloudfunctions2_function" "my_function" {
  depends_on = [null_resource.compile_protobuf]
  
  # 你的函数基础配置
  name        = "my-protobuf-function"
  location    = "us-central1"
  description = "Function with protobuf compilation"

  build_config {
    runtime     = "python311"
    entry_point = "your_function_entry"
    source {
      storage_source {
        bucket = google_storage_bucket.function_bucket.name
        object = google_storage_bucket_object.function_archive.name
      }
    }
  }

  service_config {
    available_memory = "256Mi"
    timeout_seconds = 60
  }
}

# 函数代码打包上传到GCS的资源（按需配置）
resource "google_storage_bucket_object" "function_archive" {
  bucket = google_storage_bucket.function_bucket.name
  name   = "function-code.zip"
  source = "${path.module}/function.zip"
}

方案2：Cloud Build 自定义构建流程 #

如果必须在云端完成编译，可绕过Cloud Function默认构建流程，用Terraform触发Cloud Build执行自定义编译+打包，再将产物上传到GCS供函数部署使用。

1. 编写自定义cloudbuild.yaml：

steps:
  # 安装依赖和protobuf编译器
  - name: 'python:3.11'
    entrypoint: 'bash'
    args:
      - '-c'
      - |
        apt-get update && apt-get install -y protobuf-compiler
        pip install protobuf
  # 编译proto文件
  - name: 'python:3.11'
    args: ['protoc', '--python_out=.', '*.proto']
  # 打包函数代码（包含编译后的pb2文件）上传到GCS
  - name: 'gcr.io/cloud-builders/gsutil'
    args: ['cp', '-r', '.', 'gs://your-function-bucket/function-archive.zip']

2. Terraform中触发Cloud Build：

resource "null_resource" "cloud_build_compile" {
  triggers = {
    proto_files_hash = sha1(join("", [for f in fileset("${path.module}/function", "*.proto") : file(f)]))
    code_files_hash  = sha1(join("", [for f in fileset("${path.module}/function", "**/*.py") : file(f)]))
  }

  provisioner "local-exec" {
    command = "gcloud builds submit ${path.module}/function --config=${path.module}/cloudbuild.yaml"
  }
}

# 依赖Cloud Build完成后部署函数
resource "google_cloudfunctions2_function" "my_function" {
  depends_on = [null_resource.cloud_build_compile]
  
  build_config {
    runtime     = "python311"
    entry_point = "your_function_entry"
    source {
      storage_source {
        bucket = "your-function-bucket"
        object = "function-archive.zip"
      }
    }
  }

  # 其他函数配置...
}

说明：需确保Cloud Build服务账号拥有GCS写入权限和Cloud Function部署权限。

方案3：冷启动时编译（不推荐生产环境） #

部分Python运行时支持在entrypoint中先执行编译命令再启动函数，但此方式每次冷启动都会重复编译，会显著增加启动延迟，仅适合临时测试：

build_config {
  runtime     = "python311"
  entry_point = "bash -c 'protoc --python_out=. *.proto && python -m your_function_module'"
  # 其他配置...
}

内容的提问来源于stack exchange，提问作者watashiSHUN