为何已压缩的file.txt.gz可通过gzip实现高比率二次压缩？

操作复现 #

$ seq 1000000 > file.txt
$ ls -l
total 6728
-rw-r--r--. 1 felix felix 6888896 jun  6 18:29 file.txt
$ gzip -f -k file.txt
$ ls -l
total 8808
-rw-r--r--. 1 felix felix 6888896 jun  6 18:29 file.txt
-rw-r--r--. 1 felix felix 2129152 jun  6 18:29 file.txt.gz
$ gzip -f -k file.txt.gz
$ ls -l
total 8848
-rw-r--r--. 1 felix felix 6888896 jun  6 18:29 file.txt
-rw-r--r--. 1 felix felix 2129152 jun  6 18:29 file.txt.gz
-rw-r--r--. 1 felix felix   38387 jun  6 18:29 file.txt.gz.gz

问题 #

已压缩的file.txt.gz为何能实现如此高比率的二次压缩？毕竟通常再次压缩无法减小文件体积，Deflate算法具备什么特性支持这种场景？

解答 #

这种极端场景下的二次压缩生效，核心是第一次生成的gzip文件仍存在大量可被Deflate算法捕获的冗余结构，Deflate的几个关键特性在这里起作用：

• LZ77+哈夫曼编码的分层逻辑：Deflate采用两步压缩：先通过LZ77扫描并替换重复字节序列，再用哈夫曼编码对标记、长度等数据做统计压缩。第一次压缩后的file.txt.gz里，不仅有固定格式的gzip头部（如0x1f8b的标识字节），Deflate编码后的比特流也残留了重复模式——比如统一的编码标记、重复出现的压缩块结构，这些都能被二次压缩的LZ77模块捕获，再通过哈夫曼编码进一步压缩。
• 对非随机数据的适配性：gzip压缩后的文件并非完全熵满的随机数据。尤其是你用seq生成的原文件是极端规律的连续数字字符串，第一次压缩后的gzip文件里的编码结构本身带有极强的统计规律，这种规律依然能被Deflate的统计编码机制识别并压缩。
• 极端规律数据源的特殊性：普通已压缩文件（如压缩后的图片、高熵文档）二次压缩通常无效甚至体积增大，但你的原文件是高度规律的纯文本，第一次压缩后的gzip文件并没有达到“熵满”状态，仍有可被挖掘的冗余空间。

需要注意：这是非常特殊的场景，绝大多数真实场景下，已压缩文件二次压缩不会有这么明显的效果，甚至可能因为新增gzip头部而略微增大体积。

内容的提问来源于stack exchange，提问作者Felix