Python中将含numpy数组的字典数组合并为单字典的高效实现方法

性能瓶颈分析 #

你当前的实现存在两个核心性能问题，完全无法适配40万量级的大数据场景：

• 每次调用np.append都会触发完整的内存重新分配和数据拷贝，数十万次操作下的内存开销会呈指数级上升
• 每次遍历字典的items()生成键值对迭代器，存在重复的无效开销

高效实现方案 #

核心逻辑是先批量收集同键的所有数组片段，最后仅做一次全局拼接，完全避免高频内存重分配，同时无需重复遍历每个字典的键值对：

import numpy as np

# 仅执行1次：提取所有字典的公共键
common_keys = dict_arr[0].keys()
# 初始化每个键对应的数组收集列表
collector = {key: [] for key in common_keys}

# 单层遍历所有字典，直接按键取数存入列表，无需遍历键值对
for item in dict_arr:
    for key in common_keys:
        collector[key].append(item[key])

# 每个键仅执行1次底层拼接，生成最终结果
merged_dict = {key: np.concatenate(val_list) for key, val_list in collector.items()}

方案优势 #

1. 内存分配次数从数十万次降到和键的数量一致（你的场景下仅1~3次），性能提升可达数百倍
2. 无需每次遍历字典的键值对，仅基于预先提取的公共键取值，遍历开销降到最低
3. np.concatenate为numpy底层C实现的批量操作，拼接效率远高于循环调用np.append

内容的提问来源于stack exchange，提问作者Flavio Moraes