Python多进程池无法运行求助：程序陷入无限处理状态

可能的原因及对应解决方案 #

1. 全局变量未正确隔离（Windows系统常见） #

Windows下multiprocessing采用spawn方式创建子进程，会重新导入整个模块。如果clim_rasts、bands这些变量在if __name__ == "__main__":之外初始化，子进程会重复执行初始化代码，甚至可能再次创建进程池，导致死循环。

修复方式：
把所有全局变量的初始化逻辑放到if __name__ == "__main__":块内部：

if __name__ == "__main__":
    # 在这里初始化 clim_rasts、bands、climate_data 等变量
    clim_rasts = ...
    bands = ...
    climate_data = pd.DataFrame()
    
    print('inside', flush=True)
    with multiprocessing.Pool(processes = max(1, multiprocessing.cpu_count()-1)) as pool:
        print('inside2', flush=True)
        items = [(var, band) for var in clim_rasts.keys() for band in bands]
        print('inside3', flush=True)
        stime2 = time.time()
        for result in pool.starmap(main_climate_task, items):
            print('result', result, flush=True)
            climate_data = pd.concat([climate_data, result])
        etime2 = time.time()
        dur2 = etime2-stime2
        print(dur2, flush=True)

2. starmap阻塞特性导致的“假死” #

pool.starmap()会等待所有任务完全执行完毕才返回结果列表，如果你有大量任务，主进程会一直卡在for循环开始前，看起来像是无限处理。

修复方式：改用starmap_async实时获取结果，便于排查进度：

with multiprocessing.Pool(processes = max(1, multiprocessing.cpu_count()-1)) as pool:
    print('inside2', flush=True)
    items = [(var, band) for var in clim_rasts.keys() for band in bands]
    print('inside3', flush=True)
    stime2 = time.time()
    # 提交异步任务
    result_obj = pool.starmap_async(main_climate_task, items)
    # 迭代获取已完成的结果
    for result in result_obj.get():
        print('result', result, flush=True)
        climate_data = pd.concat([climate_data, result])
    etime2 = time.time()
    dur2 = etime2-stime2
    print(dur2, flush=True)

3. 子进程抛出未捕获异常 #

如果main_climate_task在子进程中抛出异常但未被捕获，主进程会一直等待子进程完成，导致阻塞。

修复方式：在任务函数中添加全局异常捕获：

def main_climate_task(var, band):
    try:
        # 原函数逻辑：调用 rasterstats.zonal_stats 等
        result = rasterstats.zonal_stats(...)
        return result
    except Exception as e:
        print(f"Task failed for var={var}, band={band}: {str(e)}", flush=True)
        return pd.DataFrame()  # 返回空DataFrame避免concat出错

4. 资源耗尽导致进程挂起 #

使用cpu_count()创建满负载进程池时，rasterstats.zonal_stats本身可能占用较多内存或IO资源，导致进程陷入资源等待。

修复方式：限制进程数为CPU核心数减1：

with multiprocessing.Pool(processes = max(1, multiprocessing.cpu_count()-1)) as pool:
    # ...后续代码

5. 函数或依赖对象无法序列化 #

multiprocessing默认用pickle序列化任务参数和返回值，如果main_climate_task引用了无法序列化的对象（如打开的文件句柄、未实现pickle接口的自定义类），子进程会无法正确执行任务。

修复方式：

• 确保所有传递给任务函数的参数都是可序列化的（如字符串、数字、DataFrame等）
• 在任务函数内部打开/关闭文件，不要传递文件句柄
• 如果有自定义类，实现__reduce__方法或改用dill等序列化库（需额外安装）

内容的提问来源于stack exchange，提问作者SturgeonNW