如何避免Terraform状态文件包含大Zip文件内容以提升执行效率？

核心问题定位 #

你当前的问题根源是使用了local_file数据源，它会把整个Zip文件的完整内容编码后存入Terraform状态文件，直接导致状态文件膨胀至100MB+。每次plan/apply后的状态同步都会上传这个大文件，拖慢执行速度。

具体修复步骤 #

1. 移除local_file.google_layer数据源

完全删除该数据源，避免它将Zip内容写入状态文件。

2. 优化工件构建与变更触发

修改null_resource.pip_install_google，用requirements文件的哈希值触发构建（比直接读取文件内容更高效），同时修正构建命令的路径逻辑：

resource "null_resource" "pip_install_google" {
  triggers = {
    # 仅当requirements文件内容变更时触发重新构建
    requirements_hash = filesha256("../requirements-google.txt")
  }

  provisioner "local-exec" {
    command = <<-EOT
      # 创建临时目录并安装依赖
      mkdir -p /tmp/bigquery/google-layer/python/
      python -m pip install \
        --requirement ../requirements-google.txt \
        --target /tmp/bigquery/google-layer/python/ \
        --no-cache-dir
      # 进入目标目录打包，避免包含冗余路径
      cd /tmp/bigquery/google-layer/
      zip -r ${path.module}/build/google-layer.zip python/
      # 清理临时目录（可选）
      rm -rf /tmp/bigquery/google-layer/
    EOT
  }
}

3. 直接引用本地文件上传S3，避免读取内容

修改aws_s3_object，直接使用本地文件路径，通过文件哈希验证变更，无需依赖local_file：

resource "aws_s3_object" "google_layer" {
  bucket = var.code_bucket
  key    = "lambda_src/big_query_google_layer.zip"
  source = "${path.module}/build/google-layer.zip"
  # 用文件SHA256哈希确保仅当内容变更时重新上传
  source_hash = filesha256("${path.module}/build/google-layer.zip")
  depends_on = [null_resource.pip_install_google]
}

4. Lambda Layer引用S3对象，用文件哈希验证版本

修改aws_lambda_layer_version，直接计算本地Zip文件的哈希，避免从local_file获取内容：

resource "aws_lambda_layer_version" "google_layer" {
  layer_name          = "google-layer"
  s3_bucket           = var.code_bucket
  s3_key              = aws_s3_object.google_layer.key
  s3_object_version   = aws_s3_object.google_layer.version_id
  # 用本地Zip哈希确保仅当内容变更时创建新版本
  source_code_hash    = filesha256("${path.module}/build/google-layer.zip")
  compatible_runtimes = ["python3.9"]
  depends_on          = [aws_s3_object.google_layer]
}

工件构建的最佳实践 #

• 构建位置：在本地临时目录（如/tmp）构建依赖，避免污染项目目录；生成的Zip包放在项目build/目录下，将build/加入.gitignore，不提交到代码库。
• 触发逻辑：仅当requirements-google.txt内容变更时，通过filesha256哈希触发重新构建和上传，避免无意义的重复操作。
• 状态优化：所有大文件操作通过S3中转，Terraform状态仅存储S3对象的元数据（如key、version_id、哈希值），彻底解决状态文件过大的问题。

内容的提问来源于stack exchange，提问作者John Mee