Android端基于lzo-java库解压 如何从lzop文件头读取未压缩文件大小
基于lzo-java实现lzop解压时未压缩文件大小读取指南
开发场景说明
目前在开发面向Android平台的Java端压缩文件解压能力,需要对以字节数组形式存储的各类LZO压缩文件完成解压,开发过程中使用开源lzo-java库实现lzop格式文件的解压逻辑。该库的解压流程要求必须提前获知未压缩源文件的大小,才能完成后续全流程解压,最初参考的实现逻辑存在明显缺陷:
// 初始版本需要提前手动传入未压缩大小初始化数组 byte[] uncompressed = new byte[*未压缩文件大小*]; ByteArrayInputStream is = new ByteArrayInputStream(*压缩文件字节数组*); LzopInputStream us = new LzopInputStream(is); DataInputStream ds = new DataInputStream(us); System.out.println(ds.readByte()); ds.readFully(uncompressed);
当前的核心诉求是从lzop格式压缩文件的头部结构中,直接读取未压缩文件的真实大小,既可以参考lzop的标准头结构定义手动解析,也可以借助现有库的内置能力完成解析。之前曾尝试手动遍历文件头前数百字节,分别用大端、小端字节序,匹配短整型、整型、长整型的解析长度,在不同起始偏移位置尝试读取数值,但始终无法和已知基准文件的未压缩大小匹配。
lzop标准文件头结构说明
lzop格式为固定字节序、固定结构的压缩文件格式,所有数值字段强制使用大端序(BIG_ENDIAN),不存在小端序的兼容设计,手动解析时如果混淆字节序会出现完全错配的结果。
从文件偏移0开始的固定头结构顺序如下:
- 偏移0~7:8字节文件魔数,固定为
0x89LZO\n\r\n\x1a\n,用于校验文件是否为合法lzop格式 - 偏移8~11:4字节无符号整型,记录lzop格式的版本号
- 偏移12~15:4字节无符号整型,记录底层LZO算法库的版本号
- 偏移16~19:4字节无符号整型,记录本次压缩使用的LZO算法方法
- 偏移20~23:4字节无符号整型,记录本次压缩使用的压缩级别
- 偏移24~31:8字节无符号长整型,存储未压缩源文件的原始大小
注意:如果文件设置了头部校验,上述固定结构后还会紧跟4字节的Adler32校验值,手动解析时需要跳过该字段,避免偏移错位。
适配现有lzo-java库的最优实现
不需要手动逐字节对齐文件头偏移、切换字节序解析,因为库内置的LzopInputStream类在初始化阶段,就会自动完成全部lzop头部的校验、字段解析流程,直接调用内置方法即可获取未压缩文件大小,是最不容易出错的实现方式。
具体实现步骤如下:
- 将压缩格式的字节数组包装为
ByteArrayInputStream传入LzopInputStream的构造方法,构造方法内部会自动消费完整个文件头,完成所有字段解析 - 直接调用
LzopInputStream的getUncompressedSize()方法,即可拿到头部存储的未压缩文件真实大小 - 使用读取到的大小初始化解压用的目标字节数组,再执行后续的解压读取逻辑
修正后的可运行代码示例:
// 压缩文件对应的字节数组 byte[] compressedBytes = getCompressedByteArray(); // 初始化Lzop输入流,自动解析完整文件头 LzopInputStream us = new LzopInputStream(new ByteArrayInputStream(compressedBytes)); // 直接从流对象获取解析好的未压缩文件大小 long uncompressedSize = us.getUncompressedSize(); // 用获取到的大小初始化解压目标数组 byte[] uncompressed = new byte[(int) uncompressedSize]; // 执行后续解压读取 DataInputStream ds = new DataInputStream(us); ds.readFully(uncompressed);
此前手动解析匹配失败的常见原因:
- 混淆了lzop强制要求的大端序,错用小端序解析数值字段
- 未跳过头部可选的Adler32校验字段,导致后续读取位置整体偏移4字节
- 没有意识到
LzopInputStream的构造方法已经消费了全部文件头,手动从流开头读取字节时位置完全错位
内容的提问来源于stack exchange,提问作者Reza Yaghoubi Emami
相关产品推荐
相关产品推荐

