如何无需硬编码键聚合Dask Delayed函数返回的多个延迟字典？

你遇到的问题很典型——Dask延迟对象没法直接像普通字典那样做遍历操作，硬编码键的方式确实不够灵活，尤其是当字典的键可能动态变化的时候。其实我们可以把整个聚合逻辑包装成一个延迟函数，让Dask来处理内部的遍历和合并操作，这样就完全不需要预先知道所有键了。

优化后的实现代码 #

import dask

@dask.delayed
def get_dict(date):
    return {
        'a': {'date': date},
        'b': {'date': date}
    }

@dask.delayed
def aggregate_dicts(dict_list):
    summary = {}
    for d in dict_list:
        for key, val in d.items():
            summary.setdefault(key, []).append(val)
    return summary

# 生成所有延迟字典对象
dates = [d1, d2, d3]  # 替换成你的实际日期列表
delayed_dicts = [get_dict(date) for date in dates]

# 聚合得到最终的延迟summary字典
summary_dict = aggregate_dicts(delayed_dicts)

# 需要结果时触发计算
result = dask.compute(summary_dict)[0]

为什么这个方法更优？ #

• 无需硬编码键：聚合函数内部直接遍历每个字典的items()，不管返回的字典有多少个动态生成的键，都能自动适配，彻底避免了键变更时的代码维护成本。
• 贴合Dask设计思路：把聚合逻辑整体包装成延迟函数，让Dask统一调度执行，避免手动拆分操作带来的冗余代码，也能更好地利用Dask的并行能力。
• 代码更简洁易读：原来的多层循环嵌套被简化成两步——生成延迟字典列表、传入聚合函数，逻辑清晰，后续维护起来更轻松。

对比硬编码方式的优势 #

硬编码键的方式虽然能实现需求，但当get_dict返回的字典键发生变化时，你必须同步修改hardcoded_keys列表，很容易出现遗漏或错误。而上面的方案完全不需要关心键的具体内容，只要字典是标准的键值对结构就能自动完成聚合。

内容的提问来源于stack exchange，提问作者abisko