Python中无需哈希查找的字典值原地高效转换方案咨询

原生Python的dict没有内置你所说的mutable_items或者transform_values接口，也不允许直接访问底层存储修改值引用，这是Python语言层面的设计限制，不过有多种落地的实现方案可以满足性能需求：

性能前提说明 #

你担心的循环内哈希查找开销在绝大多数业务场景下可以完全忽略：Python的dict哈希查找是经过深度优化的O(1)操作，哪怕是百万级键量的字典，单次查找的开销也远小于值转换本身的逻辑开销，非极端性能敏感场景直接用你提到的第二种原地修改方案即可，代码简洁易维护。

零额外查找的实现方案 #

如果确实要完全避免二次哈希查找，可以利用「可变对象内部修改无需替换值引用」的特性实现：

方案1：自定义累加容器 #

将字典的值定义为可变的自定义对象，遍历values()即可直接修改内部属性，全程没有键查找：

from collections import defaultdict
from dataclasses import dataclass

@dataclass
class Accumulator:
    count: int = 0
    sum_val: float = 0.0
    avg: float = 0.0

# 累加阶段
avg = defaultdict(Accumulator)
for cat_name, val in data:
    acc = avg[cat_name]
    acc.count += 1
    acc.sum_val += val

# 转换阶段，零键查找
for acc in avg.values():
    acc.avg = acc.sum_val / acc.count

后续使用时直接读取acc.avg属性即可，不需要修改字典的键值映射。

方案2：用列表包装值（轻量方案） #

不想自定义类的话，也可以用长度为1的列表包装最终结果，直接修改列表内部元素：

from collections import defaultdict

avg = defaultdict(lambda: [[0, 0]])
for cat_name, val in data:
    entry = avg[cat_name][0]
    entry[0] += 1
    entry[1] += val

# 转换阶段，零键查找
for _, (entry,) in avg.items():
    entry[0] = entry[1] / entry[0]

# 取值示例：avg["分类A"][0] 就是平均值

自定义transform_values接口 #

如果要对齐你期望的接口形式，可以继承dict实现自定义字典类：

class ExtendedDict(dict):
    def transform_values(self, func):
        for k, v in self.items():
            self[k] = func(v)

# 使用示例
avg = ExtendedDict(avg)
avg.transform_values(lambda v: v[1]/v[0])

注意这个实现内部还是用到了键查找，只是做了语法封装，适合对性能要求不高、更看重代码可读性的场景。

超大规模数据的最优方案 #

如果是处理百万级以上的数据，推荐直接用pandas的分组聚合能力，底层是C实现，性能比纯Python循环高1~2个数量级，完全可以覆盖创建新字典的开销：

import pandas as pd
df = pd.DataFrame(data, columns=["cat", "val"])
avg = df.groupby("cat")["val"].mean().to_dict()

内容的提问来源于stack exchange，提问作者SU3