如何无需解压tarball归档即可校验其与原目录的checksum一致性

出现这个现象和文件内容本身无关，是归档、压缩流程写入的可变元数据导致的：

• gzip压缩默认会在文件头记录压缩操作的时间戳、原始文件名，哪怕压缩的内容完全一致，不同时间执行压缩生成的二进制文件都有差异，hash结果自然会变
• tar归档格式默认会记录每个文件的修改时间、权限、属主属组ID，以及归档本身的创建时间，两次打包操作哪怕文件内容没变化，只要元数据有细微变动（比如文件被访问过导致mtime更新、两次打包的时间不同），最终生成的tar包二进制就会不同
• 不同版本的tar、gzip工具的默认压缩参数、实现细节存在差异，也可能导致相同输入内容输出不同的归档二进制

针对20GB这类大型备份文件，完全不需要解压到磁盘就能完成校验，以下是两种可落地的方案：

方案1：打包时生成可复现归档，直接校验整包hash #

如果是你自己可控的打包流程，这是效率最高的方案：打包时剔除所有可变元数据，保证相同文件内容永远生成二进制完全一致的tarball，后续直接计算整包hash就能完成校验，不需要额外解析包内内容。
打包命令如下：

# 先通过tar输出未压缩的归档流，统一所有可变元数据，再调用gzip加-n参数压缩（不写入时间戳、文件名）
tar -cf - test/ \
  --mtime='UTC 1970-01-01' \
  --owner=0 --group=0 --numeric-owner \
| gzip -n > test.tar.gz

参数说明：

• --mtime='UTC 1970-01-01'：把包内所有文件的修改时间统一设为固定值，避免mtime变动影响
• --owner=0 --group=0 --numeric-owner：统一文件属主属组为root，避免不同机器上uid/gid映射差异导致的归档变化
• gzip -n：压缩时跳过写入时间戳、原始文件名的步骤，消除gzip头的可变字段
  后续校验直接执行shasum test.tar.gz即可，相同内容永远会得到固定的hash值。

方案2：已有归档的流式内容校验（无需落盘解压） #

如果是已经生成好的归档（比如第三方提供的备份、历史备份包），可以用GNU tar的--to-command参数做流式处理：tar顺序读取归档内容，直接把每个文件的内容通过管道传给校验命令，全程不会把文件解压写到磁盘，20GB的文件也只会占用几十MB以内的内存，无额外磁盘开销。

第一步：先计算原目录的基准checksum（和常规目录校验逻辑一致） #

find test/ -type f -print0 | sort -z | xargs -0 shasum | shasum
# 测试用例输出：d191c793cacc4bec1f070eb96fa68524cca566f8  -

第二步：流式计算tarball内部内容的checksum，和基准值比对 #

tar -xzf test.tar.gz --to-command='
# 仅处理普通文件，跳过目录、软链接等特殊条目，和find -type f的逻辑完全对齐
if [ "$TAR_FILETYPE" = "f" ]; then
  shasum | awk -v tar_path="$TAR_FILENAME" "{print \$1 \"  \" tar_path}"
fi
' | sort -k2 | shasum

这个命令的处理逻辑和原目录计算hash的逻辑完全一致：遍历所有普通文件→按文件路径排序→计算每个文件内容的hash→对hash列表再算总hash，输出结果会和原目录的基准值完全匹配，如果结果不一致就说明归档存在内容损坏、缺失或被篡改。

• 做内容hash校验前，可以先执行tar -tzf test.tar.gz列出包内所有文件路径，先快速核对文件数量、目录结构和原目录一致，再做内容校验，能更快发现明显的打包错误
• 处理10GB以上的超大归档时，可以给tar加-I pigz参数调用多线程解压工具pigz，校验速度比单线程gzip快3-5倍
• 不要采用解压到临时目录再算hash的方案，该方案会占用和归档等大的磁盘空间，大量小文件场景下IO开销极高，速度远慢于流式处理

内容的提问来源于stack exchange，提问作者a79ce734e1