多进程结合Pandas存储成对样本触发ValueError维度不匹配

• 数据填充完全错位：positives列表本来是要存储成对文件名的业务数据，结果代码里写的是positives.append(proc)，把multiprocessing.Process的进程实例对象塞进去了，根本没把提前拼好的[values[i], values[j]]成对列表存入结果集。
• 报错触发存在滞后性：整个流程跑30分钟才报错，不是因为多进程处理中途崩溃，是因为pandas的格式校验直到最后构造DataFrame的环节才会执行——前面几十万次循环的逻辑错误都被攒着，直到走到那行pd.DataFrame()才集中暴露。
• 维度不匹配的直接诱因：pandas解析每个被塞进来的Process对象时，会将其判定为长度为1的单行元素，最后攒出来的整体数据shape是(236167, 1)，但代码指定了["file_x", "file_y"]两个列，自然会抛出“数据维度和列数不匹配”的错误。
• 隐性稳定性缺陷：代码里每生成一个样本就开一个独立进程，没有任何并发数限制，累计开20多万个进程时，系统光维护进程上下文就已经占满资源，就算这次不报DataFrame的格式错误，后续也会因为资源耗尽崩溃。

• 彻底理清业务数据和进程对象的边界：要存到DataFrame的成对文件名、计算结果属于业务数据，单独存入结果列表；负责执行计算的进程实例是调度对象，不需要塞到业务结果列表里。
• 抛弃逐任务开裸Process的写法，用固定并发数的进程池统一管理任务，把进程并发数控制在和CPU核心数匹配的范围，避免无限制开进程压垮系统。
• 补上进程结果收集逻辑：原生的裸Process执行完不会自动把结果回传主进程，必须通过进程池的返回值、或共享队列的方式拿到实际计算结果，不能拿进程对象当计算结果用。
• 构造DataFrame前提前校验入参：保证传入DataFrame的每行数据长度和指定的列数完全一致，避免shape对齐问题。

修正后的参考代码 #

import multiprocessing as mp
import pandas as pd

# 提前枚举所有需要处理的文件对，避免在循环里零散开进程
all_pairs = []
for i in range(0, len(values) - 1):
    for j in range(i + 1, len(values)):
        all_pairs.append([values[i], values[j]])

# 定义单进程要执行的实际计算逻辑（比如人脸比对、ROC指标计算）
def calc_pair_metrics(pair):
    file_x, file_y = pair
    # 这里替换为你原来的多进程处理逻辑
    # 计算完成后返回结构化的结果
    return {"file_x": file_x, "file_y": file_y}

if __name__ == "__main__":
    # 用和CPU核心数匹配的固定并发数跑池，不额外占满系统资源
    with mp.Pool(processes=mp.cpu_count()) as pool:
        # 批量提交任务，统一收集所有进程的计算结果
        final_results = pool.map(calc_pair_metrics, all_pairs)
    
    # 直接用收集到的结构化结果构造DataFrame，维度完全对齐
    positives = pd.DataFrame(final_results)

内容的提问来源于stack exchange，提问作者Khawar Islam