为何NumPy数组ZIP压缩效果极差？求高效替代方案

先看你给出的Python代码：

import numpy as np

a = np.ones((10_000_000_000), dtype='u1')
np.savez_compressed('a-zip', a=a)

这段代码生成的压缩文件达9.7MB，但理论上这个数组可以压缩到100字节以内（.npy头占71字节，100亿个1仅需少量额外字节），下面具体解释原因和解决方案。

为什么ZIP压缩效果这么差？ #

np.savez_compressed的工作逻辑是：先将每个数组单独保存为标准.npy格式文件，再用ZIP的DEFLATE算法对这些文件进行归档压缩。问题出在两个层面：

1. .npy存储原始二进制数据：100亿个uint8类型的1，会被直接写成100亿个0x01字节的连续数据。
2. DEFLATE算法的局限性：它的滑动窗口默认最大只有32KB，只能在这个有限范围内寻找重复模式，无法识别整个数组全是单一值的全局重复规律。因此它只能对局部重复进行压缩，无法实现理论上的极致压缩比，最终只能将文件压到9.7MB左右。

适合这类场景的压缩方案 #

针对单一值为主的NumPy数组，有几种更高效的压缩方式：

1. 手动存储元数据（最极致） #

既然数组所有元素都是同一个值，完全不需要存储原始数据，只保存数组的形状、数据类型和单一值即可，自己实现简单的读写函数：

import numpy as np

def save_single_val_arr(path, arr):
    if not np.all(arr == arr.flat[0]):
        raise ValueError("数组必须是单一值")
    meta = {
        'shape': arr.shape,
        'dtype': str(arr.dtype),
        'value': arr.flat[0]
    }
    np.save(path, meta)

def load_single_val_arr(path):
    meta = np.load(path, allow_pickle=True).item()
    return np.full(meta['shape'], meta['value'], dtype=meta['dtype'])

# 使用示例
a = np.ones((10_000_000_000), dtype='u1')
save_single_val_arr('single-val.npy', a)
loaded_a = load_single_val_arr('single-val.npy')

这种方式生成的文件只有几十字节，完全符合理论压缩极限。

2. 用外部高压缩比工具 #

先将数组保存为未压缩的.npy文件，再用支持大滑动窗口的压缩工具（如7-Zip、xz）进行压缩，这类工具使用的LZMA2算法可以设置超大滑动窗口，能轻松识别全局重复值，最终压缩后的文件大小会接近理论最小值。

3. 专用科学数据压缩库 #

使用Blosc这类专门针对数组优化的压缩库，它支持多种高效压缩算法，且对大规模重复数据的压缩效果极佳：

import numpy as np
import blosc

a = np.ones((10_000_000_000), dtype='u1')
# 压缩，clevel=9为最高压缩等级
compressed_data = blosc.compress(a, clevel=9, shuffle=blosc.SHUFFLE)
# 保存到文件
with open('a-blosc.bin', 'wb') as f:
    f.write(compressed_data)
# 读取解压
with open('a-blosc.bin', 'rb') as f:
    loaded_compressed = f.read()
loaded_arr = blosc.decompress(loaded_compressed)
loaded_arr = np.frombuffer(loaded_arr, dtype='u1').reshape((10_000_000_000,))

Blosc的压缩效率和速度都远超ZIP的DEFLATE算法，能轻松将这类数组压到极小的体积。

内容的提问来源于stack exchange，提问作者Paul Jurczak