如何确定bzip2压缩文件的压缩级别？解决Python读取异常问题

首先澄清一个关键误解：你在bz2.open()中设置的compresslevel参数仅在写入压缩文件时生效，读取文件时这个参数会被完全忽略——所以你遇到的OSError: Invalid data stream错误，大概率不是因为压缩级别不匹配，更可能是文件本身损坏、格式不标准，或是被其他非bzip2工具压缩导致的。

不过回到你的核心问题：如何确定bzip2文件创建时的压缩级别？下面分两种方法说明：

一、用Unix命令行工具识别 #

bzip2的压缩级别对应着压缩时使用的块大小（级别1=100KB块，级别9=900KB块），这个块大小会直接存储在文件头里，你可以用以下方式精准获取：

1. 直接解析文件头（最准确）
   用od命令读取文件的前5个字节：

   od -t x1 -N5 filename.bz2
   

   输出的第5个字节（比如31对应ASCII字符1，39对应9），转换为ASCII字符后就是压缩级别。比如输出类似：

   0000000 42 5a 68 39 01
   

   这里的39是ASCII的9，说明该文件是用级别9压缩的。

2. 用bzip2 verbose输出辅助判断（仅供参考）
   运行bzip2 -v -l filename.bz2，虽然不会直接显示压缩级别，但可以通过压缩比间接推断（级别越高，压缩比通常越高），不过这种方法受文件内容影响较大，准确性有限。

二、用Python代码识别 #

你可以直接读取bzip2文件的头部来获取压缩级别，因为bzip2的文件头第5个字节直接对应压缩级别（ASCII字符'1'到'9'）：

import bz2

def get_bzip2_compression_level(file_path):
    with open(file_path, 'rb') as f:
        # 读取bzip2文件头的前5个字节：格式为BZh[1-9]
        header = f.read(5)
        
        # 验证是否为合法bzip2文件
        if not header.startswith(b'BZh'):
            raise ValueError("Provided file is not a valid bzip2 compressed file")
        
        # 提取第5个字节，转换为对应的压缩级别
        level_char = header[4:5].decode('ascii')
        if not level_char.isdigit() or not (1 <= int(level_char) <=9):
            raise ValueError("Invalid compression level in bzip2 file header")
        
        return int(level_char)

# 示例使用
dataset = ['first-archive.bz2', 'second-archive.bz2']
for file in dataset:
    try:
        level = get_bzip2_compression_level(file)
        print(f"File {file} was compressed with level {level}")
        # 读取文件时无需指定compresslevel，用默认配置即可
        with bz2.open(file, 'r') as f:
            # 处理文件内容逻辑
            for line in f:
                pass
    except Exception as e:
        print(f"Error processing {file}: {str(e)}")

补充：关于你的读取错误排查 #

再次强调，读取bzip2文件时不需要指定compresslevel，去掉这个参数后再尝试读取，如果还是报错，建议做以下检查：

• 用bzip2 -t filename.bz2命令验证文件完整性
• 确认文件是标准bzip2格式（比如有没有被误重命名为.bz2的其他压缩文件）
• 检查文件是否在传输/存储过程中被截断

内容的提问来源于stack exchange，提问作者Oliver Baumann