SSH环境下tar压缩的排序规则及进度预估技术咨询

数据老陈

2026-5-15

我来帮你解答这两个处理大目录tar压缩时的实用问题：

1. 预估压缩完成时间的替代方法

除了盯着tar的verbose输出，还有几个更直观的方式来估算剩余时间：

用pv工具实时显示进度
pv是一个管道查看工具，可以结合tar展示实时压缩速度、已完成比例和剩余时间。先确保系统安装了pv，然后执行以下命令：
```
# 先计算原目录总字节数，传给pv作为进度参考
tar -cf - /home/wwwsite/public_html | pv -s $(du -sb /home/wwwsite/public_html | awk '{print $1}') | gzip > _backup.tar.gz
```
命令会输出类似123G 0:45:23 [45MB/s] [======> ] 60% ETA 0:30:11的直观进度信息。
小样本测试估算
挑选几个和整体目录文件类型分布接近的子文件夹（比如总大小10-20G），单独用tar压缩并记录耗时。再根据2TB的总大小，结合测试出的平均速度估算总时间。注意：文本文件压缩率远高于视频/图片类文件，样本尽量有代表性。
监控文件大小与系统资源
每隔一段时间用ls -lh _backup.tar.gz查看已生成的压缩包大小，对比原目录总大小（du -sh /home/wwwsite/public_html）算出已完成比例。同时用top或iostat监控磁盘IO和CPU使用率，判断当前压缩速度是否稳定，进而估算剩余时间。

2. tar的压缩排序规则与自定义排序方法

tar默认的文件处理顺序既不是名称也不是时间排序，而是遵循文件系统的目录项存储顺序——也就是readdir()系统调用返回的顺序。这个顺序由文件系统实现决定（比如ext4按inode分配顺序排列），和我们日常看到的名称排序完全不同，所以verbose输出的顺序会显得很乱。

要让tar按自定义顺序压缩，需要先生成按指定规则排序的文件列表，再传给tar处理：

按名称排序
用find生成所有文件/目录的列表，再用sort按名称排序，最后传给tar：
```
# -print0、-z、--null用于处理带空格、特殊字符的文件名，避免出错
find /home/wwwsite/public_html -print0 | sort -z | tar -czvf _backup.tar.gz --null -T -
```
其中-T -表示tar从标准输入读取要压缩的文件列表，--null配合前序命令处理特殊文件名。
按修改时间排序（最新在前）
用find输出文件的修改时间戳和路径，按时间戳排序后提取路径传给tar：
```
find /home/wwwsite/public_html -printf "%T@\t%p\0" | sort -z -k1,1nr | cut -z -f2- | tar -czvf _backup.tar.gz --null -T -
```
解释：%T@输出文件的秒级修改时间戳，sort -k1,1nr按时间戳倒序排序（最新在前），cut -f2-提取文件路径，最后传给tar打包。如果要按最早文件在前，去掉sort里的r参数即可。

注意：对于2TB的超大目录，生成排序后的文件列表可能需要几分钟，但这是保证压缩顺序符合需求的可靠方法。

内容的提问来源于stack exchange，提问作者Christian Žagarskas