移除u32高位空字节后XZ压缩文件体积增大的技术咨询

• 字节对齐规律被破坏：原32位格式里每个整数末尾固定是0字节，相当于每4字节就有一个可预测的0，这种强重复模式正好契合LZMA2的压缩优势——它对可预测的字节序列压缩效率极高。改成24位后，固定的0字节锚点消失，字节流的规律性彻底断裂，数据熵值飙升（更接近随机分布），压缩算法找不到足够的重复模式，自然压缩效果变差。
• 排序数据的模式失效：每个块内的整数是排好序的，32位格式下相邻整数的差异全集中在低24位，高位始终为0，差异的字节模式稳定且易预测。改成24位后，相邻数的差异可能跨字节边界，原本稳定的差异模式被打乱，进一步降低了熵编码的效率。

方案1：保留32位对齐+差分编码（首推） #

既然块内数据已经排序，放弃存储原始值，改为存储相邻整数的差值（Delta）：

• 排序后的序列中，大部分Delta值都很小，哪怕用32位存储，Delta的高位字节基本都是0，既保留了原32位格式的字节对齐规律，又大幅降低了数据的实际熵值。
• 示例：原序列000002, 000003, 072d55，改为存储000002, 000001, 072d52，LZMA2能高效压缩大量小Delta的0高位字节。

方案2：字节交织重组24位数据 #

把所有24位整数的同位置字节打包成连续流：

• 将每个整数的最低位字节、中间位字节、最高位字节分别整合为三个独立的字节流，比如原数据[b0,b1,b2], [b0',b1',b2'], ...重组为[b0,b0',...], [b1,b1',...], [b2,b2',...]。
• 排序后的块中，最高位字节的数值变化平缓，集中存储后会形成极强的规律性，LZMA2的字典匹配能轻松捕捉重复模式，提升压缩率。

方案3：使用可变长度编码（VLQ/LEB128） #

针对24位整数采用变长编码策略：

• 小于128的整数用1字节，小于16384的用2字节，其余用3字节，大幅减少小整数的存储空间。
• 注意：变长编码会破坏字节对齐，但如果数据中小整数占比高，未压缩体积的减少能抵消压缩率下降的影响，最终压缩后体积大概率优于原24位固定长度格式。

方案4：针对性调整LZMA2参数 #

适配24位数据的字节特性：

• 使用命令xz --lzma2=preset=9e,lc=3,pb=0：lc=3设置3字节的上下文窗口，匹配24位整数的长度；pb=0减少前向字节依赖，适配块内排序的数据。
• 该方案仅能小幅提升压缩率，效果远弱于前三种方案。

内容的提问来源于stack exchange，提问作者spaceface