如何用Python逐行或按行范围解压超大txt.gz文件？

逐行解压读取 #

Python的gzip模块原生支持流式读取，无需完整解压整个文件，直接用gzip.open()打开文件后迭代每行即可——每次仅在内存中保留一行数据，从根源避免内存不足问题。

示例代码：

import gzip

# 打开.gz文件，文本模式读取并指定编码
with gzip.open('large_log.txt.gz', mode='rt', encoding='utf-8') as f:
    for line in f:
        # 按需处理每行，比如解析字段、写入目标文件等
        print(line.strip())

注：mode='rt'对应文本模式，若处理二进制日志可改用mode='rb'；务必指定encoding参数匹配日志文件编码，避免乱码或解码错误。

读取第n行到第m行 #

由于gzip是流式压缩格式，无法直接跳转定位到指定行，必须先跳过前n-1行，再读取至第m行。

示例代码：

import gzip

def read_range_lines(gz_path, start_line, end_line):
    if start_line < 1 or end_line < start_line:
        raise ValueError("行号参数不合法：start_line需≥1，且end_line≥start_line")
    
    with gzip.open(gz_path, mode='rt', encoding='utf-8') as f:
        # 跳过前start_line-1行
        for _ in range(start_line - 1):
            next(f)
        
        # 读取目标行范围
        current_line = start_line
        while current_line <= end_line:
            try:
                line = next(f)
                yield line.strip()
                current_line += 1
            except StopIteration:
                # 文件实际行数不足时提前终止
                break

# 使用示例：读取第500行到第600行
for line in read_range_lines('large_log.txt.gz', 500, 600):
    print(line)

说明：如果start_line数值极大（如数十万行），跳过前置行的过程会消耗一定时间，这是压缩文件的特性决定的，无法规避；若需频繁读取不同行范围，可考虑将文件分片解压后存储（需保证磁盘空间充足）。

额外注意事项 #

• 若日志单行列内容过大（如单行列数达GB级），仍可能触发内存问题，需进一步拆分每行内容处理。
• 可添加异常捕获逻辑（如UnicodeDecodeError），避免因个别行编码异常导致程序中断。

内容的提问来源于stack exchange，提问作者Edward J.