为何bzip2无损压缩后的文件比自行计算的香农信源编码极限更小？

• 你通过ls -l查询到的664KB文件大小、工具计算得到的4.36比特/字符一阶熵都是准确的，但一阶熵仅统计单个字节/字符的独立出现概率，完全没有考虑自然语言文本中普遍存在的上下文关联规律：比如英文中q后几乎必然跟随u、定冠词the高频重复、固定词组和句式大量出现等，这些冗余都没有被一阶熵的计算纳入。
• 香农信源编码极限的理论下限，是基于信源的真实极限熵，也就是考虑所有阶上下文关联后的熵值。针对普通英文文本的学术统计显示，其真实极限熵通常仅为1~2比特/字符，你通过bzip2得到的171KB压缩结果正好和这个理论区间匹配，完全没有违反香农编码定理。
• bzip2采用的Burrows-Wheeler变换可以对文本内容做重排，将远距离出现的相同、相似字符块聚类，后续配合游程编码、霍夫曼编码，可以捕获到远超过单字符层面的统计冗余，自然可以得到比一阶熵计算结果小得多的压缩比。

你不存在对文件编码、操作系统机制的认知遗漏，偏差完全来自于误把一阶单字符熵当成了信源的真实编码极限。一阶熵仅对应「每个字符单独编码」场景的理论下限，而通用压缩算法都是对关联的多字符序列做整体编码，突破一阶熵的数值是完全正常的。

内容的提问来源于stack exchange，提问作者Alejandro