如何仅修改npz文件中的元数据而不重写整个文件？

首先明确：用np.savez_compressed生成的压缩NPZ文件无法直接只修改元数据部分，原因是NPZ本质是ZIP压缩归档，压缩后的ZIP文件内部数据是连续存储的，修改任何条目都需要重新压缩整个文件，必然要重写全部内容，效率低下。

但可以通过以下两种方式解决这个问题：

方案1：改用未压缩的NPZ文件 #

如果可以接受文件体积略大（原文件100MB-4GB，未压缩体积会增加，但换来可修改性），用np.savez（不带_compressed后缀）生成未压缩的NPZ文件。这类未压缩的ZIP归档支持单独修改内部的单个条目，具体操作步骤如下：

import numpy as np
import zipfile
import io

# 1. 加载原NPZ文件中的元数据并修改
with np.load("test.npz", allow_pickle=True) as data:
    metadata = data["metadata"].item()
    metadata["name"] = "xyz"

# 2. 将修改后的元数据转为npy格式字节流
metadata_npy = io.BytesIO()
np.save(metadata_npy, metadata)
metadata_npy.seek(0)

# 3. 打开原NPZ文件，替换metadata条目
with zipfile.ZipFile("test.npz", "r+") as zf:
    # 可选：先备份原元数据条目
    # zf.extract("metadata.npy")
    zf.delete("metadata.npy")
    # 写入修改后的元数据
    zf.writestr("metadata.npy", metadata_npy.read())

这种方法只会修改元数据对应的小文件，完全不会触动大数组x，效率极高。

方案2：拆分存储（更推荐） #

把大数组和元数据分开存储是更灵活的方案：

• 大数组单独存为.npy文件
• 元数据存为轻量格式（比如.json或小.npz）

保存时拆分 #

import numpy as np
import json

# 保存大数组
x = np.random.random((10000, 1000))
np.save("x_data.npy", x)

# 保存元数据
metadata = {"date": "20221123", "user": "bob", "name": "abc"}
with open("metadata.json", "w") as f:
    json.dump(metadata, f)

修改元数据时 #

import json

# 加载并修改元数据
with open("metadata.json", "r") as f:
    metadata = json.load(f)
metadata["name"] = "xyz"

# 写回元数据（仅操作小文件）
with open("metadata.json", "w") as f:
    json.dump(metadata, f)

加载时合并 #

import numpy as np
import json

x = np.load("x_data.npy")
with open("metadata.json", "r") as f:
    metadata = json.load(f)

print(x)
print(metadata["date"])

这种方案完全避免了修改大文件的问题，元数据文件极小，修改速度几乎可以忽略，后续管理也更灵活——比如可单独备份元数据、快速查看元数据内容等。

内容的提问来源于stack exchange，提问作者Basj