多进程生成动态列表为何出现额外嵌套？

是的，这种额外的列表嵌套大概率是由multiprocessing.Pool的结果收集机制导致的。

原因分析 #

当你使用Pool.map()/Pool.imap()这类方法时，Pool会将每个子进程执行任务后的返回值，统一收集到一个顶层列表中返回。如果你的任务函数本身返回的就是一个列表（比如每个进程生成一行数据的嵌套结构），最终得到的结果就会变成[[行1数据], [行2数据], ...]这种双层嵌套格式——而Tabulate默认需要的是每层元素为单行数据的一维列表（或元组）结构，嵌套层级多了自然无法正常渲染。

解决方法 #

1. 修正任务函数的返回值

检查你的任务函数，确保它返回的是一维的单行数据（比如元组或一维列表），而不是额外嵌套的列表。举个例子：

# 错误写法：返回嵌套列表
def process_task(id):
    # 数据库查询、脚本执行逻辑
    row_data = (id, "result", 100)
    return [row_data]  # 多套了一层列表

# 正确写法：直接返回单行数据
def process_task(id):
    row_data = (id, "result", 100)
    return row_data

2. 展平已有的嵌套结果

如果暂时无法修改任务函数，可以用itertools.chain.from_iterable()将双层嵌套的结果展平为一维列表，再传入Tabulate：

from itertools import chain
from multiprocessing import Pool
from tabulate import tabulate

def process_task(id):
    # 模拟返回嵌套列表的情况
    return [(id, f"res_{id}", id*2)]

if __name__ == "__main__":
    with Pool() as pool:
        nested_results = pool.map(process_task, [1,2,3])
    # 展平嵌套列表
    flat_results = list(chain.from_iterable(nested_results))
    # 正常制表
    print(tabulate(flat_results, headers=["ID", "Result", "Value"]))

示例输出对比 #

• 嵌套状态的输入：[[(1, 'res_1', 2)], [(2, 'res_2', 4)], [(3, 'res_3', 6)]]
• Tabulate渲染会出现异常（比如每行只显示一个嵌套元素）
• 展平后输入：[(1, 'res_1', 2), (2, 'res_2', 4), (3, 'res_3', 6)]
• Tabulate会正常生成表格：

ID  Result      Value
---  ---------  -------
  1  res_1          2
  2  res_2          4
  3  res_3          6

内容的提问来源于stack exchange，提问作者The Owl