如何无缓冲区将float32型3维NumPy数组存为TIFF并gzip压缩？

要实现无缓冲区的TIFF转gz压缩，核心问题是TIFF写入通常需要随机访问（seek）更新文件头，而mgzip的流是只写且不支持seek的，直接写入会导致文件损坏。下面提供两种可行方案：

方案一：用tifffile库流式写入mgzip流 #

tifffile支持无seek的流式TIFF写入，完美适配mgzip的压缩流，全程不需要内存缓冲区：

import numpy as np
import mgzip
from tifffile import TiffWriter

# 替换为你的实际float32数组
img = np.random.rand(2400, 2400, 3).astype(np.float32)

# 直接打开mgzip压缩流，写入TIFF
with mgzip.open('output.tif.gz', 'wb', compresslevel=5) as gz_stream:
    with TiffWriter(gz_stream, streaming=True) as tif_writer:
        # 写入RGB格式的float32图像，指定 photometric 和 planarconfig 参数
        tif_writer.write(
            img,
            photometric='RGB',
            planarconfig='CONTIG',
            dtype=np.float32
        )

说明 #

• streaming=True 让TiffWriter跳过需要seek的操作，直接流式输出TIFF数据
• 全程数据直接从数组写入mgzip压缩流，没有内存缓冲区开销，性能最优

方案二：用OpenCV+系统gzip管道传输 #

如果必须用OpenCV，可以通过subprocess调用系统gzip命令，用管道直接传输TIFF数据，同样避免内存缓冲区：

import numpy as np
import cv2
import subprocess

# 替换为你的实际float32数组
img = np.random.rand(2400, 2400, 3).astype(np.float32)

# 启动gzip管道，直接写入压缩文件
with subprocess.Popen(
    ['gzip', '-c', '-5', '-', '>', 'output.tif.gz'],
    stdin=subprocess.PIPE,
    shell=True
) as gzip_proc:
    # 用OpenCV编码TIFF字节流
    success, tiff_bytes = cv2.imencode(
        '.tif',
        img,
        [cv2.IMWRITE_TIFF_COMPRESSION, 1]  # 1表示无压缩（后续由gzip处理）
    )
    if success:
        # 直接将TIFF字节写入gzip进程的标准输入
        gzip_proc.stdin.write(tiff_bytes.tobytes())
        gzip_proc.stdin.close()
        gzip_proc.wait()

说明 #

• OpenCV的imwrite不支持无seek的流写入，所以用imencode先生成完整TIFF字节，再通过管道传给gzip
• 这种方式的内存开销远小于BytesIO缓冲区（仅需存储编码后的TIFF字节，对于2400x2400的数组，内存占用可控）

为什么直接用mgzip+OpenCV会失败 #

OpenCV写入TIFF时，需要先写入文件头占位，然后写入图像数据，最后回到文件头更新偏移信息——这个过程需要文件对象支持seek()操作，但mgzip的流是单向只写的，不支持seek，因此会导致TIFF文件头不完整，最终压缩文件损坏。

内容的提问来源于stack exchange，提问作者Nikhil Kumar