大数据集下用np.meshgrid替代itertools.product处理不等长列表组合

一、修复np.meshgrid调用问题 #

你遇到的meshgrid无效问题，核心是没有对列表的列表做解包操作。np.meshgrid需要接收多个独立的列表参数，而非一个包含所有列表的数组/列表。正确调用方式是用*解包输入列表：

import numpy as np

a = [1,2,3]
b = [4,5,6]
c = [7,8]
d = [9,10,11,12]
listoflists = [a,b,c,d]

# 解包列表生成网格，转置后重塑为组合格式
result = np.array(np.meshgrid(*listoflists)).T.reshape(-1, len(listoflists))

这段代码输出结果和手动传入单个列表完全一致，无需依赖maxlen——len(listoflists)代表每个组合的元素数，-1会自动计算总组合数。

二、适配字典列表数据集的处理逻辑 #

针对你的字典列表结构（每个字典的'C'键对应嵌套列表），可将解包后的meshgrid逻辑直接整合，同时优化内存占用：

• 若数据集超大，建议直接保留numpy数组格式存入'D'，避免转成list（list会占用更多内存）；
• 若必须用list格式，可按需转换，减少一次性内存开销。

优化后的完整代码 #

import numpy as np

def process_dataset(example):
    for item in example:
        # 取出'C'中的嵌套列表，解包后传入meshgrid
        nested_lists = item['C']
        # 生成笛卡尔积组合数组
        combinations = np.array(np.meshgrid(*nested_lists)).T.reshape(-1, len(nested_lists))
        # 可选：若需list格式，用tolist()转换；内存紧张则保留numpy数组
        item['D'] = combinations.tolist()
        # 删除原'C'键
        del item['C']
    return example

三、极端大内存场景补充方案 #

如果数据集大到numpy数组也无法承载，可改用生成器版笛卡尔积，彻底避免一次性加载所有组合：

import itertools

def lazy_process_dataset(example):
    for item in example:
        # 用生成器生成组合，不一次性加载到内存
        combinations = (comb for comb in itertools.product(*item['C']))
        item['D'] = combinations
        del item['C']
    return example

此方式下'D'存储的是生成器对象，只有遍历的时候才会生成具体组合，完全不会触发MemoryError，但后续使用'D'时需通过迭代获取组合元素。

内容的提问来源于stack exchange，提问作者Lev Zhitnik