如何高效将含排列的多层嵌套列表转换为pandas DataFrame？

刚看到你遇到的这个问题，太懂那种处理大数据量嵌套结构时的崩溃感了！直接展开DataFrame确实会因为中间对象太大拖慢速度，甚至内存爆掉，这里给你分享个高效的解决方案，专门针对大数据量、多层嵌套、需要全排列的场景：

核心思路：用迭代器先生成全排列，再转DataFrame #

直接绕开先建DataFrame再展开的弯路，用itertools.product（Python标准库的高效工具）来生成所有排列组合——它是迭代器实现，不会一次性把所有组合加载到内存，完美适配大数据量。

步骤1：处理嵌套列表的扁平化（如果有多层嵌套） #

如果你的每个维度里还有多层嵌套（比如["a1", ["a1a", "a1b"], "a2"]这种），先写个递归扁平化函数把每个维度的取值拆成一维列表：

def flatten(nested):
    for item in nested:
        if isinstance(item, list):
            yield from flatten(item)
        else:
            yield item

# 示例：把多层嵌套的列表转成一维
complex_nested = ["a1", ["a1a", ["a1a1", "a1a2"]], "a2"]
flattened_values = list(flatten(complex_nested))
# 输出：["a1", "a1a", "a1a1", "a1a2", "a2"]

步骤2：用itertools.product生成全排列并转DataFrame #

假设你的嵌套数据是「列名+对应嵌套取值列表」的结构，比如：

import pandas as pd
import itertools

# 示例嵌套数据：每一项是[列名, 嵌套取值列表]
nested_data = [
    ["category", ["electronics", "clothing", ["home", "garden"]]],
    ["brand", ["apple", "nike", "ikea"]],
    ["price_range", ["low", ["medium", "high"]]]
]

# 1. 拆分列名和对应的取值列表，同时扁平化每个取值列表
cols = []
flattened_value_lists = []
for col_name, values in nested_data:
    cols.append(col_name)
    flattened_value_lists.append(list(flatten(values)))

# 2. 用itertools.product生成所有排列组合（迭代器，内存友好）
all_combinations = itertools.product(*flattened_value_lists)

# 3. 直接转成DataFrame，无需中间大对象
df = pd.DataFrame(all_combinations, columns=cols)

为什么这个方法高效？ #

• 内存友好：itertools.product是迭代器，只会在需要的时候生成下一个组合，不会一次性把几万/几十万条组合加载到内存，完美解决大数据量的问题。
• 速度快：itertools模块是C实现的，比纯Python循环处理快得多。
• 适配任意嵌套层级：不管你的列表嵌套多少层，扁平化函数都能处理，再传给product就能生成全排列。

之前你尝试的「先建DataFrame再展开」的方法，会先创建带嵌套列的DataFrame，然后用explode之类的方法逐行展开，中间会生成很多临时对象，内存和时间成本都很高，换成这个思路后应该会顺畅很多！

内容的提问来源于stack exchange，提问作者rpl