如何为同内容文件生成哈希一致的zip包 解决GitLab流水线Lambda重复部署问题

生成确定性哈希的ZIP包 #

普通ZIP打包会默认包含文件修改时间(mtime)、用户ID(uid)、组ID(gid)、文件权限等可变元数据，-X参数仅能排除扩展属性，无法覆盖上述所有可变字段，这是仅用zip -X无法得到固定哈希的核心原因。

操作步骤如下：

• 统一所有待打包文件的修改时间：每次拉取代码、安装依赖完成后，先执行命令统一所有文件的mtime，可固定为Unix纪元时间，或取当前代码提交的时间，避免每次重新生成文件的mtime差异影响哈希：

  # 方案1：固定为指定时间
  find ./lambda_code_dir -type f -exec touch -t 202401010000 {} +
  # 方案2：取当前commit的提交时间，适配代码更新场景
  COMMIT_TIME=$(git log -1 --format=%ct)
  find ./lambda_code_dir -type f -exec touch -d "@$COMMIT_TIME" {} +
  

• 排除无关文件：打包前删除__pycache__、临时文件、.git目录等不需要打入ZIP的内容，避免无关文件干扰哈希。
• 执行确定性打包：使用支持清除可变元数据的ZIP参数，完整命令如下：

  zip -r -X -9 --no-dir-entries --strip-extra -o lambda_function.zip ./lambda_code_dir/*
  

  各参数说明：
  • -r：递归打包目录内容
  • -X：排除文件扩展属性
  • -9：固定使用最高压缩等级，避免压缩率波动
  • --no-dir-entries：不存储目录本身的元数据条目，规避目录mtime影响
  • --strip-extra：清除所有uid、gid等额外元数据
  • -o：将ZIP包本身的修改时间设置为内部文件的最新时间（已统一所以无差异）

如果使用的GitLab runner镜像中zip命令不支持--strip-extra等参数，可使用Python脚本实现确定性打包：

import zipfile
import os

def create_deterministic_zip(output_path, source_dir):
    # 固定文件元数据的时间戳和权限
    fixed_datetime = (2024, 1, 1, 0, 0, 0)
    fixed_permission = 0o100644 << 16  # 统一设置为644权限
    with zipfile.ZipFile(output_path, 'w', zipfile.ZIP_DEFLATED, compresslevel=9) as zf:
        for root, _, files in os.walk(source_dir):
            for file in files:
                file_path = os.path.join(root, file)
                arcname = os.path.relpath(file_path, source_dir)
                zinfo = zipfile.ZipInfo(arcname, fixed_datetime)
                zinfo.external_attr = fixed_permission
                with open(file_path, 'rb') as f:
                    zf.writestr(zinfo, f.read(), compresslevel=9)

if __name__ == "__main__":
    create_deterministic_zip("lambda_function.zip", "./lambda_code_dir")

执行命令：python3 deterministic_zip.py

Terraform 校验配置 #

只要ZIP包哈希固定，按如下配置即可让Terraform准确判断是否需要更新资源，不会触发无意义部署：

直接上传ZIP部署Lambda场景 #

resource "aws_lambda_function" "this" {
  filename      = "lambda_function.zip"
  function_name = "your_lambda_name"
  role          = aws_iam_role.lambda_exec.arn
  handler       = "lambda_function.handler"
  runtime       = "python3.9"
  # 直接使用本地ZIP的哈希做校验
  source_code_hash = filebase64sha256("lambda_function.zip")
}

走S3存储中转场景 #

# 上传ZIP到S3
resource "aws_s3_object" "lambda_zip" {
  bucket = "your_s3_bucket_name"
  key    = "lambda/lambda_function.zip"
  source = "lambda_function.zip"
  # 用MD5做S3对象的ETag校验，判断是否需要更新S3文件
  etag = filemd5("lambda_function.zip")
}

resource "aws_lambda_function" "this" {
  function_name = "your_lambda_name"
  s3_bucket     = aws_s3_object.lambda_zip.bucket
  s3_key        = aws_s3_object.lambda_zip.key
  s3_object_version = aws_s3_object.lambda_zip.version_id
  role          = aws_iam_role.lambda_exec.arn
  handler       = "lambda_function.handler"
  runtime       = "python3.9"
  # 关联本地ZIP的哈希做Lambda更新校验
  source_code_hash = filebase64sha256("lambda_function.zip")
}

内容的提问来源于stack exchange，提问作者broodjetom