如何在Python中验证两个tar.gz文件内容是否完全一致？

我正在开发一个共享协议，共享文件夹时会将其打包为tar.gz格式并存入指定目录，打包代码如下：

with tarfile.open(full_data_name, "w:gz", format=GNU_FORMAT) as tar_handle:
   ...
   tar_handle.add(file_path)

需求是：再次执行打包操作时，验证新生成的tar.gz与旧文件内容是否一致，避免重复发布。不想用pkgdiff，希望用Python实现，同时不想用全解压后逐字节对比的方案（资源消耗太大）。之前尝试修改tar.gz文件4-7字节的时间戳后对比，仅偶尔有效——pkgdiff判定文件相同，但十六进制编辑器能看到多处差异，推测是tar或gz打包过程中的可变元数据导致的。

解决方案 #

方案1：生成tar时固定所有可变元数据

从根源解决文件不一致的问题，打包时直接固定所有会变化的元数据，这样只要源文件内容不变，每次生成的tar.gz完全一致，直接对比文件哈希即可判断重复。

• 固定tar内每个文件的修改时间：调用tar_handle.add()时传入mtime参数，统一设置为固定值
• 固定gzip头部的时间戳：通过自定义gzip.GzipFile对象指定mtime

示例代码：

import tarfile
import gzip
import time

# 用一个固定的时间戳，比如2020-09-13 12:26:40的时间戳
FIXED_TIMESTAMP = 1600000000

def create_fixed_tar(source_path, output_path):
    with open(output_path, 'wb') as f_out:
        # 初始化gzip对象，固定头部时间戳
        with gzip.GzipFile(fileobj=f_out, mode='wb', mtime=FIXED_TIMESTAMP) as gz_file:
            with tarfile.open(fileobj=gz_file, mode='w', format=tarfile.GNU_FORMAT) as tar:
                # 添加文件时固定每个文件的修改时间
                tar.add(source_path, mtime=FIXED_TIMESTAMP)

之后只要对比两个tar.gz文件的哈希值（比如SHA256），就能快速判断是否内容一致：

import hashlib

def get_file_hash(file_path):
    sha256 = hashlib.sha256()
    with open(file_path, 'rb') as f:
        while chunk := f.read(4096):
            sha256.update(chunk)
    return sha256.hexdigest()

# 判断两个tar.gz是否内容一致
if get_file_hash(new_tar_path) == get_file_hash(old_tar_path):
    print("内容一致，无需重复发布")
else:
    print("内容已变更，需要发布新文件")

方案2：不解压直接对比tar.gz的内容

如果不想修改现有打包逻辑，可以直接解析tar.gz文件，跳过可变元数据（比如时间戳），只对比核心内容：

• 遍历tar内的每个成员，对比文件名称、大小、权限、内容哈希（目录只对比名称和权限）
• 无需完全解压，仅按需读取文件内容计算哈希，资源消耗远小于全解压

示例代码：

import tarfile
import hashlib

def get_tar_core_info(tar_path):
    core_info = {}
    with tarfile.open(tar_path, 'r:gz') as tar:
        for member in tar.getmembers():
            if member.isfile():
                # 读取文件内容计算SHA256哈希
                file_obj = tar.extractfile(member)
                if file_obj:
                    hash_obj = hashlib.sha256()
                    while chunk := file_obj.read(4096):
                        hash_obj.update(chunk)
                    core_info[member.name] = (member.size, member.mode, hash_obj.hexdigest())
                else:
                    core_info[member.name] = (member.size, member.mode, None)
            else:
                # 目录、链接等非文件类型，仅对比名称和权限
                core_info[member.name] = (0, member.mode, None)
    return core_info

def is_tar_content_equal(tar1, tar2):
    return get_tar_core_info(tar1) == get_tar_core_info(tar2)

# 使用示例
if is_tar_content_equal(new_tar_path, old_tar_path):
    print("内容一致，无需重复发布")
else:
    print("内容已变更，需要发布新文件")

为什么修改时间戳的方法偶尔失效 #

tar.gz文件包含两层可变元数据：

1. gzip头部的时间戳（对应文件4-7字节）
2. tar包内每个文件的mtime、ctime等元数据，以及tar全局头部的时间戳

只修改gzip头部的时间戳，无法消除tar包内部的可变元数据，所以会出现十六进制差异，但pkgdiff会忽略这些元数据只对比内容，因此判定文件相同。

内容的提问来源于stack exchange，提问作者Valmond