如何创建哈希一致的Python依赖压缩包 避免Terraform重复替换Lambda Layer

问题根因 #

即使依赖版本完全固定，pip安装过程生成的文件元数据（修改时间、权限、冗余安装记录文件）都会出现随机差异，最终导致压缩包哈希值每次计算都不同，触发Lambda Layer的强制替换。

修复步骤 #

1. 调整构建脚本消除文件不稳定因素 #

修改Makefile，在依赖安装完成后增加冗余文件清理、元数据统一逻辑：

build/requirements.txt: build poetry.lock
    poetry export -f requirements.txt --output build/requirements.txt

build/dependencies_layer: build build/requirements.txt
    # 清空旧目录避免残留文件干扰
    rm -rf build/dependencies_layer
    mkdir -p build/dependencies_layer/python/lib/python3.9/site-packages/
    # 安装依赖时增加--no-deps参数，避免意外安装未锁定版本的依赖
    PYTHONUNBUFFERED=1 PYTHONDONTWRITEBYTECODE=1 poetry run pip install -r build/requirements.txt -t build/dependencies_layer/python/lib/python3.9/site-packages/ --upgrade -q --no-deps
    # 清理所有不稳定冗余文件
    find build/dependencies_layer -type f -name "*.pyc" -o -name "*.pyo" -delete
    find build/dependencies_layer -type d -name "__pycache__" -exec rm -rf {} +
    # 删除dist-info目录下的安装记录类文件，这类文件会记录安装时间、来源等非固定信息
    find build/dependencies_layer -path "*.dist-info/*" \( -name "INSTALLER" -o -name "REQUESTED" -o -name "direct_url.json" \) -delete
    # 统一所有文件的修改时间为固定值，消除时间戳差异
    find build/dependencies_layer -exec touch -d "2020-01-01 00:00:00" {} +
    # 统一所有文件权限，避免不同构建环境的默认权限差异
    chmod -R 755 build/dependencies_layer

2. 调整Terraform配置实现确定性压缩 #

给archive_file数据源增加确定性压缩参数，同时配置Lambda Layer保留历史版本：

data "archive_file" "dependencies_layer" {
  type        = "zip"
  source_dir  = "../build/dependencies_layer/"
  output_path = "../build/dependencies_layer.zip"
  # 排除系统自动生成的临时文件
  excludes = [".DS_Store", "**/.gitkeep", "**/*~"]
  # 开启确定性压缩，忽略文件元数据中的不稳定字段，需要archive provider版本>=2.2.0
  deterministic_zip = true
}

resource "aws_lambda_layer_version" "dependencies_layer" {
  layer_name          = "${var.service_name}-${var.stage}-dependencies-layer"
  description         = "Python requirements lambda layer for ${var.service_name} ${var.stage} stage."
  compatible_runtimes = ["python3.9"]
  filename            = data.archive_file.dependencies_layer.output_path
  source_code_hash    = data.archive_file.dependencies_layer.output_base64sha256
  # 开启保留旧版本配置，替换层时不会删除历史版本
  skip_destroy = true
}

3. 额外注意事项 #

• 如果依赖包含C扩展等二进制文件，需要保证所有构建操作都在相同架构的相同系统环境下执行，避免二进制文件本身存在差异
• 确保poetry.lock文件被提交到版本库，所有构建节点使用的poetry版本一致，避免导出的requirements.txt内容出现差异

内容的提问来源于stack exchange，提问作者João Filipe Storarri