Python中如何合并字典列表为单字典并对比Pandas实现效率

需求说明 #

给定结构一致的字典列表，需将其转换为单个字典——每个键对应的值是原列表中所有字典该键的值通过|拼接的字符串。

示例输入：

data = [
    {
        "name" : "name1",
        "type" : "type1",
    },
    {
        "name" : "name2",
        "type" : "type2",
    }
]

期望输出：

{
    "name" : "name1 | name2",
    "type" : "type1 | type2"
}

方法实现 #

1. 原生Python方法（无第三方依赖） #

方法A：键遍历拼接

提取第一个字典的所有键，遍历每个键收集对应值后拼接：

def merge_dicts_vanilla(data):
    if not data:
        return {}
    result = {}
    keys = data[0].keys()
    for key in keys:
        values = [d[key] for d in data]
        result[key] = " | ".join(values)
    return result

# 调用示例
merged_data = merge_dicts_vanilla(data)

方法B：collections.defaultdict收集值

用defaultdict批量收集每个键的所有值，再统一拼接：

from collections import defaultdict

def merge_dicts_defaultdict(data):
    if not data:
        return {}
    temp = defaultdict(list)
    for d in data:
        for key, value in d.items():
            temp[key].append(value)
    return {k: " | ".join(v) for k, v in temp.items()}

# 调用示例
merged_data = merge_dicts_defaultdict(data)

2. Pandas方法 #

利用DataFrame的聚合功能拼接列值：

import pandas as pd

def merge_dicts_pandas(data):
    if not data:
        return {}
    df = pd.DataFrame(data)
    return df.agg(" | ".join).to_dict()

# 调用示例
merged_data = merge_dicts_pandas(data)

速度对比 #

用timeit模块测试三种方法在不同数据规模下的执行效率：

测试环境 #

• Python 3.10
• Pandas 2.1.0
• 测试数据：
  • 小数据：2个字典（示例输入）
  • 大数据：1000个含name、type键的结构一致字典

测试结果 #

结论 #

• 小数据量：原生Python方法远快于Pandas，后者存在DataFrame初始化的额外开销
• 大数据量：原生方法仍保持明显优势，Pandas的聚合操作开销更高
• 选型建议：无第三方依赖需求时优先选原生方法；若项目已依赖Pandas且需后续复杂数据操作，可考虑Pandas方案

内容的提问来源于stack exchange，提问作者Luiz