如何高效保存含3D NumPy数组与元数据的机器学习成像类对象？

处理成像相关机器学习任务时，预处理后会生成包含重要元数据属性和3D NumPy图像数据数组的类对象。当前需求是：

• 降低这类对象的存储空间占用
• 提升对象的读写速度

现有方案的痛点：

• 使用pickle保存对象，存储效率和读写速度都不是最优
• 尝试过dill库，但处理大量文件时整体性能更慢，无法解决问题
• 了解numpy.save方法，但不清楚如何将其整合到现有的pickle.dump/pickle.load流程中

方法1：分离元数据与数组，分别存储 #

核心思路：把类对象里的NumPy数组单独用numpy.savez_compressed（带压缩，存储效率更高）存储，元数据用pickle存储，读取时再重新组合成类对象。

保存流程示例 #

假设你的类是ImageData：

import pickle
import numpy as np

class ImageData:
    def __init__(self, metadata, image_array):
        self.metadata = metadata  # 比如字典形式的元数据
        self.image_array = image_array  # 3D NumPy数组

# 实例化对象
sample_data = ImageData(
    metadata={"patient_id": "P123", "scan_type": "CT", "slice_count": 64},
    image_array=np.random.rand(64, 256, 256)  # 3D图像数组
)

# 分离存储：数组用numpy的压缩格式，元数据用pickle
np.savez_compressed("sample_image.npz", image=sample_data.image_array)
with open("sample_metadata.pkl", "wb") as f:
    pickle.dump(sample_data.metadata, f)

读取流程示例 #

# 读取元数据和数组，重新组装成类对象
with open("sample_metadata.pkl", "rb") as f:
    loaded_metadata = pickle.load(f)

loaded_array = np.load("sample_image.npz")["image"]
loaded_data = ImageData(loaded_metadata, loaded_array)

优势：

• numpy.savez_compressed对NumPy数组的压缩效率远高于pickle，能大幅减少存储空间
• 读写速度更快，numpy的IO接口针对数组做了专门优化
• 元数据用pickle存储，保留原有序列化逻辑，无需大幅修改类结构

方法2：自定义类的pickle序列化逻辑 #

如果不想拆分文件，可以重载类的__getstate__和__setstate__方法，让pickle在保存时自动把数组转成numpy的压缩存储格式，读取时再恢复。

改造后的类示例 #

import pickle
import numpy as np
import io

class ImageData:
    def __init__(self, metadata, image_array):
        self.metadata = metadata
        self.image_array = image_array

    def __getstate__(self):
        # 序列化时，把数组转成压缩字节流
        state = self.__dict__.copy()
        buffer = io.BytesIO()
        np.savez_compressed(buffer, image=self.image_array)
        state["image_array"] = buffer.getvalue()
        return state

    def __setstate__(self, state):
        # 反序列化时，从字节流恢复数组
        self.__dict__.update(state)
        buffer = io.BytesIO(self.image_array)
        self.image_array = np.load(buffer)["image"]

# 保存对象
sample_data = ImageData(
    metadata={"patient_id": "P123", "scan_type": "CT"},
    image_array=np.random.rand(64, 256, 256)
)
with open("sample_data.pkl", "wb") as f:
    pickle.dump(sample_data, f)

# 读取对象
with open("sample_data.pkl", "rb") as f:
    loaded_data = pickle.load(f)

# 验证数组一致性
print(np.array_equal(sample_data.image_array, loaded_data.image_array))  # 输出True

优势：

• 保持单文件存储，和原有pickle流程的使用方式一致，无需修改调用逻辑
• 利用numpy的压缩存储优化，比原生pickle更省空间、速度更快
• 完全兼容现有代码，只需要修改类的序列化逻辑

方法3：使用专用医学影像格式（可选） #

如果是医学成像任务，可考虑用NIfTI（.nii.gz）这类专用格式存储图像数据，元数据可嵌入文件头或单独用JSON存储，工具链更成熟：

import nibabel as nib
import json

# 保存：图像存为nii.gz，元数据存为json
sample_array = np.random.rand(64, 256, 256)
img = nib.Nifti1Image(sample_array, np.eye(4))  # 仿射矩阵根据实际场景设置
nib.save(img, "sample_scan.nii.gz")

with open("sample_metadata.json", "w") as f:
    json.dump({"patient_id": "P123", "scan_type": "CT"}, f)

# 读取
loaded_img = nib.load("sample_scan.nii.gz")
loaded_array = loaded_img.get_fdata()
with open("sample_metadata.json", "r") as f:
    loaded_metadata = json.load(f)

优势：适合需要和其他医学影像工具交互的场景，存储效率和读写表现优异。

内容的提问来源于stack exchange，提问作者Tomas Premoli Muniagurria