Python 2.7中filecmp.cmp误判相同fastq.gz文件为不同的问题

1. filecmp.cmp返回False的本质 #

gzip格式的文件不只是原始内容的压缩包，它还包含头部元数据（比如文件修改时间、原始文件名、操作系统类型等）和尾部校验信息。当你用filecmp.cmp(f1,f2,shallow=False)时，它会逐字节对比整个gzip文件的所有内容——包括这些元数据。

哪怕两个gzip文件压缩的原始fastq内容完全一致，只要它们的头部元数据（比如生成时的时间戳）不同，整个文件的字节流就会存在差异，导致filecmp返回False。而diff/comm对比的是解压后的原始内容，这些元数据不会被还原到原始文件里，所以会显示内容一致。

2. difflib.ndiff内存不足的问题 #

4G的fastq.gz文件解压后通常会膨胀到16G甚至更大（fastq的压缩比一般在3-5:1），gzip.open(f).readlines()会把整个解压后的文件一次性读入内存，直接触发内存溢出。这和gzip格式本身无关，只是大文件处理的方式不对。

针对你的场景，推荐几种高效的处理方式：

方式一：Python流式对比解压内容 #

不用一次性加载整个文件，而是逐行读取并对比，这样内存占用极低：

import gzip

def is_gzip_content_equal(fpath1, fpath2):
    with gzip.open(fpath1, 'rt', encoding='utf-8') as fp1, gzip.open(fpath2, 'rt', encoding='utf-8') as fp2:
        # 逐行对比内容
        for line_a, line_b in zip(fp1, fp2):
            if line_a != line_b:
                return False
        # 检查是否有一个文件剩余未读内容（避免一个比另一个多几行）
        remaining_a = fp1.readline()
        remaining_b = fp2.readline()
        return remaining_a == '' and remaining_b == ''

# 使用示例
print(is_gzip_content_equal("file1.fastq.gz", "file2.fastq.gz"))

方式二：借助命令行工具（更高效） #

Linux/macOS下可以用管道直接解压对比，无需生成临时文件，性能比Python代码更优：

cmp <(gzip -dc file1.fastq.gz) <(gzip -dc file2.fastq.gz)

如果返回值为0，说明内容一致；返回1则说明有差异。你可以在Python里用subprocess调用这个命令并检查返回码：

import subprocess

def compare_via_cmd(f1, f2):
    result = subprocess.run(
        ["cmp", f"<(gzip -dc {f1})", f"<(gzip -dc {f2})"],
        shell=True,
        capture_output=True
    )
    return result.returncode == 0

方式三：快速校验gzip文件的原始内容一致性 #

gzip文件的尾部包含原始内容的CRC校验值和未压缩大小，你可以用gzip -l命令查看这两个字段：

gzip -l file1.fastq.gz
gzip -l file2.fastq.gz

如果两个文件的crc和uncompressed数值完全一致，就能确定它们压缩的原始内容是相同的，无需解压对比。

内容的提问来源于stack exchange，提问作者FairyDuster