使用预设deflate字典减小压缩文件大小相关技术问题咨询

1. 是否可以基于预设词库生成并使用自定义deflate字典？ #

可以。deflate算法的主流实现库zlib原生支持自定义预设字典功能。你只需要从业务历史文本样本中提取高频出现的字符串、词汇，拼接为不超过32KB的字典文件即可，也可以基于词频调整字典内字符串的排序进一步优化压缩率。

2. 是否可以在传输压缩文件时不附带deflate dictionary，直接使用两端预存的本地字典完成解压？ #

可以。只要两端预先部署完全一致的字典文件，压缩时指定使用该预设字典，传输过程不需要附带完整字典内容。zlib默认仅会在压缩流头部添加4字节的字典校验值用于匹配校验，完全不会额外增加传输负载，如果你方两端可以100%确认字典一致性，甚至可以关闭该校验逻辑进一步压缩头部体积。
注意普通gzip封装格式默认不支持自定义预设字典的传递匹配，不要使用gzip格式封装压缩流，直接使用zlib格式的压缩流即可。

3. 若gzip不支持该能力，是否有其他可实现该需求的压缩库？ #

除了直接使用zlib库实现需求外，还有多个成熟压缩库可选择：

• zstd：对预设字典的支持能力更完善，支持更大的字典体积，同等压缩率下压缩/解压速度远高于deflate，是目前静态字典压缩场景的首选方案
• brotli：本身内置了通用文本静态字典，也支持自定义静态字典，文本压缩率表现优于deflate
• lz4：如果对解压速度要求极高，可选择lz4配合自定义字典使用，解压速度是zstd的2-3倍

你之前调研的霍夫曼编码只是deflate等压缩算法中的一个环节，不需要自行实现完整编码逻辑，直接调用上述成熟库的预设字典相关接口即可快速落地。

内容的提问来源于stack exchange，提问作者esafwan