如何确保本地与CI/CD环境生成的同内容Zip文件哈希值完全一致（含shutil.make_archive()使用疑问）

我太懂这种头疼了——明明内容完全没变化，本地和CI/CD打包出来的Zip哈希却不一样，导致Terraform每次都触发不必要的更新。你已经做了不少正确的准备工作，但还有几个关键细节没覆盖到，咱们一步步来解决：

先梳理你已做的正确操作 #

你已经搞定了这些基础的一致性保障：

• 清理目标目录避免残留
• 统一安装用户（root）
• 删除缓存文件（pycache/.pyc）
• 统一文件的访问/修改时间

这些都是必要的，但Zip文件的哈希一致性还受更多元数据和打包逻辑影响，接下来补充关键调整：

关键优化步骤 #

1. 统一文件权限（避免环境差异） #

本地和CI/CD环境的默认文件权限可能不同（比如本地普通用户创建的文件权限是0664，CI/CD root创建的是0644），这些权限会被写入Zip元数据，直接影响哈希。在你的bash脚本里，touch之后加上权限统一命令：

# 统一普通文件权限为0644，目录为0755
find $REQUIREMENTS_DIR -type f -exec chmod 0644 {} +
find $REQUIREMENTS_DIR -type d -exec chmod 0755 {} +

2. 修复打包脚本的核心问题（你的zip.py） #

当前的zip.py依赖系统文件元数据和默认遍历顺序，这两个点都可能导致哈希差异，需要手动控制：

调整点A：固定文件遍历顺序

os.walk的文件/目录遍历顺序受文件系统影响（比如本地ext4和CI/CD的容器文件系统排序逻辑可能不同），Zip文件的哈希会因为内部文件顺序变化而改变。所以必须强制排序：

# 修改zip函数里的遍历逻辑，对目录和文件都排序
with zipfile.ZipFile(dst, "w", zipfile.ZIP_DEFLATED, compresslevel=9) as zf:
    abs_src = os.path.abspath(src)
    # 按目录路径排序，确保遍历顺序一致
    for dirname, _, files in sorted(os.walk(src), key=lambda x: x[0]):
        # 按文件名排序，确保文件顺序一致
        for filename in sorted(files):
            # 后续逻辑不变...

调整点B：手动控制Zip元数据（时间戳+权限）

即使你用touch统一了文件系统时间，zipfile可能还是会读取到毫秒级的差异，或者系统时间的细微偏差。更稳妥的方式是直接给每个Zip条目设置固定的元数据：

# 在zip函数开头定义固定时间元组（和你touch的时间对应）
fixed_datetime = (2000, 10, 10, 10, 10, 0)  # 格式：(年,月,日,时,分,秒)

# 替换原来的zf.write逻辑，手动创建ZipInfo
absname = os.path.abspath(os.path.join(dirname, filename))
arcname = absname if include_path else absname[len(abs_src) + 1:]

# 创建自定义ZipInfo，固定时间戳
zinfo = zipfile.ZipInfo(arcname, fixed_datetime)
zinfo.compress_type = zipfile.ZIP_DEFLATED

# 固定权限：普通文件0644，目录0755（转换为Zip的external_attr格式）
if os.path.isfile(absname):
    zinfo.external_attr = 0o644 << 16
else:
    zinfo.external_attr = 0o755 << 16

# 写入文件内容
with open(absname, 'rb') as f:
    zf.writestr(zinfo, f.read())

3. 关于shutil.make_archive()的使用 #

如果你想改用这个函数，要注意它默认会依赖系统文件元数据，无法直接控制ZipInfo。Python 3.10+支持custom_archive参数，可以自定义打包逻辑，示例如下：

import os
import shutil
import zipfile

def fixed_hash_zip(base_name, base_dir, **kwargs):
    zip_path = f"{base_name}.zip"
    fixed_time = (2000, 10, 10, 10, 10, 0)
    
    with zipfile.ZipFile(zip_path, 'w', zipfile.ZIP_DEFLATED, compresslevel=9) as zf:
        abs_base = os.path.abspath(base_dir)
        # 排序遍历顺序
        for dirname, _, files in sorted(os.walk(base_dir), key=lambda x: x[0]):
            for filename in sorted(files):
                abs_path = os.path.join(dirname, filename)
                arcname = os.path.relpath(abs_path, abs_base)
                # 自定义ZipInfo
                zinfo = zipfile.ZipInfo(arcname, fixed_time)
                zinfo.compress_type = zipfile.ZIP_DEFLATED
                zinfo.external_attr = 0o644 << 16 if os.path.isfile(abs_path) else 0o755 << 16
                with open(abs_path, 'rb') as f:
                    zf.writestr(zinfo, f.read())
    return zip_path

# 调用方式
shutil.make_archive('packages', 'zip', root_dir='.', base_dir='packages', custom_archive=fixed_hash_zip)

如果你的CI/CD环境Python版本低于3.10，还是建议用自定义的zip.py脚本更稳妥。

最后检查环境一致性 #

• 确保本地和CI/CD的Python版本完全一致：不同版本的zipfile压缩算法实现可能有细微差异
• 统一系统locale：如果文件名包含非ASCII字符，设置LC_ALL=C.UTF-8避免编码差异

做完这些调整后，本地和CI/CD打包出来的Zip文件哈希应该就能完全一致了！

备注：内容来源于stack exchange，提问作者David Gard