创建值为列表的字典时触发ValueError的解决方案咨询

你遇到的too many values to unpack和数据规模无关，本质是大规模数据集中存在格式不符合预期的脏条目：不是所有子列表都严格遵循[类别, 数值]的2元素结构，部分子列表长度大于2，循环里直接用category, value两个变量做固定解包就会抛出这个异常。
你原本写的defaultdict实现逻辑本身完全正确，在输入数据全部合规的场景下运行效率很高，不需要推翻重写。

1. 现有逻辑增加数据校验（性能最优，推荐） #

遍历过程中先校验条目格式，跳过或单独处理脏数据，从根源避免解包报错，时间复杂度O(n)，适配超大规模数据处理：

from collections import defaultdict

d = defaultdict(list)
for item in sample_data:
    # 过滤长度不符合要求的非法条目，可按需添加脏数据日志记录
    if len(item) != 2:
        # 例如：print(f"跳过非法格式条目: {item}")
        continue
    category, value = item
    d[category].append(value)

如果确认子列表多出来的是冗余字段、前两位固定为有效类别和数值，可以调整逻辑兼容长度大于2的条目，不用直接跳过：

for item in sample_data:
    # 长度不足2的条目缺少必要字段直接跳过，长度超标的取前两位有效字段
    if len(item) < 2:
        continue
    category, value = item[0], item[1]
    d[category].append(value)

2. 原生字典实现（无额外模块依赖） #

不想导入collections模块的话，可以用字典自带的setdefault方法实现完全一致的效果，性能和defaultdict方案接近：

d = {}
for item in sample_data:
    if len(item) != 2:
        continue
    category, value = item
    # 键不存在时自动初始化为空列表再追加值
    d.setdefault(category, []).append(value)

3. 分组聚合实现（仅适合清洗后的数据） #

可以借助itertools.groupby做分组聚合，注意这个方法要求同类别数据在列表中连续排布，使用前必须先按类别排序，整体性能弱于前两种线性遍历方案，不建议在超大数据集下使用：

from itertools import groupby

# 先过滤脏数据，再按类别字段排序
cleaned_data = sorted(
    [item for item in sample_data if len(item) == 2],
    key=lambda x: x[0]
)
d = {
    cat: [val for _, val in group_items]
    for cat, group_items in groupby(cleaned_data, key=lambda x: x[0])
}

• 小数据量下代码运行正常只是因为测试样本里刚好没有格式错误的条目，不是代码在小数据下逻辑正确、大数据下逻辑失效
• 优先排查数据源生成逻辑，如果脏数据是上游生成错误导致的，先修复数据源问题比在下游代码做兼容的方案更可靠
• 前两种线性遍历的方案内存占用低、处理速度快，是这类键对应多值聚合场景的标准写法

内容的提问来源于stack exchange，提问作者pise05