multiprocessing运行RandomizedSearchCV泄漏文件夹警告解决方案

云上老周

2026-8-30

警告产生原因

该警告和内存不足、磁盘空间不足没有关联，和你检索到的信号量泄漏类问题根因完全不同：这是joblib内置的loky并行后端的资源追踪机制，在检测到进程退出时有未被显式回收的临时工作文件夹时抛出的提示。
你的代码刚好踩中了loky已知的嵌套并行资源追踪缺陷：外层通过multiprocessing启动独立进程P_i处理单个文件，每个P_i内部又调用RandomizedSearchCV，默认通过joblib+loky后端启动3个并行工作单元执行参数搜索。两层并行都依赖loky管理跨进程资源时，内层并行创建的、用于存储跨进程序列化对象、中间计算结果的临时文件夹，不会被外层进程的资源追踪器正确登记生命周期，等P_i执行完退出时，追踪器会发现这些没被标记回收的文件夹，就会抛出泄漏警告。警告中提到的60个泄漏对象，和你设置的n_iter=100、n_jobs=3参数下产生的临时文件夹数量量级匹配。
你看到的Liblinear failed to converge收敛警告和资源泄漏问题完全无关，只是SVM类模型迭代次数不足导致的计算提示，不会干扰资源回收逻辑。

可落地的解决方法

优先方案：关闭内层并行的进程模式，改用线程模式避免嵌套进程冲突。在初始化RandomizedSearchCV时添加prefer="threads"参数，强制内层joblib使用线程池做并行计算，不再启动loky子进程，从根源上避免跨进程临时文件夹的追踪问题。scikit-learn的核心数值计算逻辑默认会释放GIL，线程模式不会带来明显的性能损失。
对应修改代码：
```
grid = RandomizedSearchCV(pipe, parameters, n_iter=100, n_jobs=3, prefer="threads")
grid.fit()
```
备选方案1：如果必须用进程模式跑内层并行，手动接管临时文件生命周期。在process_file函数开头创建独立的临时目录，通过环境变量JOBLIB_TEMP_FOLDER指定joblib把所有临时文件写到这个目录下，在函数返回前调用shutil.rmtree强制删除整个临时目录，彻底避免残留文件。
备选方案2：修改外层multiprocessing的启动方式。在主程序入口处将进程启动模式从默认的fork改为spawn，让每个子进程拥有完全独立的运行环境和资源追踪器，避免父子进程的资源状态继承导致的追踪错乱：
```
import multiprocessing
if __name__ == "__main__":
    multiprocessing.set_start_method("spawn", force=True)
    # 原有主程序逻辑写在后面
```
该方案的唯一缺点是spawn模式启动进程的速度比fork模式稍慢，但并行计算的稳定性更高。
补充说明：如果你的计算结果正常、临时目录所在磁盘没有被持续写满的风险，这个警告本身不会导致程序崩溃、结果错误，残留的临时文件会在系统定期执行临时目录清理时被自动回收，不会造成长期的资源占用。

内容的提问来源于stack exchange，提问作者Antonio Sesto