合并多个同类型.npz文件失败，求代码修正方案

你的代码问题在于：如果多个.npz文件包含相同键名，update方法会直接用后一个文件的键值覆盖前一个，导致最终只保留最后一个文件的对应内容，而非合并数组。以下是针对两种常见场景的修正方案：

场景1：所有.npz文件键名一致（需合并对应数组） #

比如每个文件都存储了名为embeddings的特征数组，需要将这些数组纵向/横向拼接：

import numpy as np
import os

# 目标文件夹路径
folder_path = 'image-embeddings'
# 获取文件夹下所有.npz文件
file_list = [os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.endswith('.npz')]

merged_arrays = {}
for fname in file_list:
    # 用上下文管理器加载npz文件，确保资源正确释放
    with np.load(fname) as data:
        for key, array in data.items():
            # 初始化键对应的列表
            if key not in merged_arrays:
                merged_arrays[key] = []
            # 将当前文件的数组加入列表
            merged_arrays[key].append(array)

# 将每个键对应的数组列表拼接成单个大数组
for key in merged_arrays:
    # axis=0表示按行拼接，可根据你的数据维度调整
    merged_arrays[key] = np.concatenate(merged_arrays[key], axis=0)

# 保存合并后的文件
np.savez('merged_embeddings.npz', **merged_arrays)

场景2：.npz文件键名不同（需保留所有键，避免覆盖） #

如果不同文件的键名可能重复，可给每个文件的键添加前缀区分：

import numpy as np
import os

folder_path = 'image-embeddings'
file_list = [os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.endswith('.npz')]

merged_data = {}
for file_idx, fname in enumerate(file_list):
    with np.load(fname) as data:
        # 给当前文件的所有键添加前缀，比如"img_1_"、"img_2_"
        key_prefix = f'img_{file_idx+1}_'
        for key, value in data.items():
            merged_data[key_prefix + key] = value

# 保存合并后的文件
np.savez('merged_files.npz', **merged_data)

关键说明 #

• 用with np.load()替代直接np.load()，能确保文件读取后自动关闭，避免资源泄漏。
• 场景1中np.concatenate的axis参数需根据你的数组维度调整：如果是(样本数, 特征数)的二维数组，axis=0是合并样本，axis=1是合并特征。
• 若你的文件键名无重复，场景2可去掉前缀逻辑，直接用merged_data.update(data)，但仍建议用循环逐个处理，方便排查问题。

内容的提问来源于stack exchange，提问作者Sanidhya Chuahan