Unix的tar命令与Python的tarfile模块生成tar包大小差异的根本原因是什么

Unix tar命令与Python tarfile模块打包体积差异的核心原因 #

你遇到的体积差主要来自两类工具的默认行为差异，针对你测试的macOS环境+小文本文件场景，具体原因如下：

• 块对齐填充的累积差异
  tar格式强制要求每个文件条目（元数据头+文件内容）的总大小必须是512字节的整数倍，不足的部分需要补空字节填充。
  macOS自带的BSD tar默认会对批量小文件做合并优化，尽可能减少单文件对齐产生的空字节冗余；而Python的tarfile模块默认是每个文件单独做对齐处理，如果你测试的文件夹内小文件数量多，每个文件产生的几字节到几百字节的填充空字节累积下来，就会产生MB级的体积差。
• 稀疏文件优化差异
  如果你的测试文件包含大量连续的空字节，BSD tar默认会自动识别为稀疏文件，仅存储非空的实际内容和稀疏标记，不会把全部空字节写入压缩包；而Pythontarfile默认没有开启稀疏文件优化，会把所有空字节如实写入包内，直接拉高体积。
• 文件过滤逻辑差异
  macOS的BSD tar默认会自动跳过.DS_Store这类系统自动生成的隐藏元数据文件，Pythontarfile默认会遍历目录下所有文件，包括这类隐藏文件，额外增加了打包内容的体积。
• 元数据存储规则差异
  Pythontarfile默认使用的打包格式（高版本默认是PAX格式）会存储更高精度的文件时间戳、扩展权限位等元数据，单文件的元数据头比BSD tar默认使用的旧tar格式更大，小文件多的场景下也会累积出明显的体积差。

验证方法 #

你可以通过以下操作确认差异来源：

1. 分别执行tar -tvf archive_unix.tar和tar -tvf archive_pycli.tar对比两者的文件列表，确认是否有额外文件被Python打包。
2. 执行tar -tvf 包文件名 | awk '{sum += $3} END {print sum}'统计所有打包文件的实际总大小，和包的实际体积做差，差值就是填充空字节+元数据的总大小，可直接对比两个包的差值验证填充冗余的差异。

内容的提问来源于stack exchange，提问作者Simon1