You need to enable JavaScript to run this app. 使用Python multiprocessing处理JSON文件后结果列表为空如何解决
优惠活动
大模型
产品
解决方案
定价
更多

使用Python multiprocessing处理JSON文件后结果列表为空如何解决

问题根因

Python的多进程采用独立内存空间设计,每个子进程会拷贝主进程的所有数据到自己的独立内存中,你在asyncJSONs函数中修改的materials只是子进程本地的副本,完全不会影响主进程中的原始列表,因此运行结束后主进程的materials仍然是初始的全None状态。
另外你当前的写法会为每个文件启动一个独立进程,33.6万个进程会直接耗尽系统的CPU、内存资源,不仅不会提速,还大概率导致进程崩溃、系统卡死。

修复方案

推荐使用multiprocessing.Pool进程池来限制并发进程数,同时通过子进程返回结果的方式收集数据,既能保证顺序,又避免内存空间隔离的问题。

修正后的代码
import json
import os
from tqdm import tqdm
import multiprocessing as mp

# 请确保你原来的process_dict函数已经在此处正确定义
def process_dict(data, res):
    # 此处填写你原有的process_dict处理逻辑
    pass

def process_single_file(args):
    index, file = args
    json_dir = '/content/drive/My Drive/mrp_workflow/JSONs'
    try:
        with open(os.path.join(json_dir, file)) as f:
            data = json.load(f)
        properties = process_dict(data, {})
        properties['name'] = file.split('.')[0]
        return properties
    except Exception as e:
        print(f"Error parsing at {file}: {str(e)}")
        return None

if __name__ == '__main__':
    jsons = os.listdir('/content/drive/My Drive/mrp_workflow/JSONs')
    # 进程池并发数,IO密集型任务可设置为CPU核心数的2~4倍,可根据实际运行情况调整
    pool_size = mp.cpu_count() * 2
    # 构造参数列表,按顺序传入索引和文件名,保证返回结果顺序和原文件顺序一致
    task_args = list(enumerate(jsons))
    
    with mp.Pool(pool_size) as pool:
        # imap按提交顺序返回结果,tqdm用来显示处理进度
        materials = list(tqdm(pool.imap(process_single_file, task_args), total=len(task_args)))
    
    # 可选:过滤掉处理失败返回的None
    materials = [item for item in materials if item is not None]
关键修改说明
  • 用进程池限制并发数,避免启动过量进程拖垮系统
  • 取消子进程中直接修改主进程列表的逻辑,改为每个子进程返回处理结果,主进程统一收集
  • Pool.imap会严格按照任务提交的顺序返回结果,不需要手动用索引维护顺序
  • 用os.path.join拼接路径,避免不同系统的路径分隔符兼容问题
  • 捕获异常时打印具体错误信息,方便排查特定文件的解析问题

内容的提问来源于stack exchange,提问作者whacke

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.11 08:42:03