You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

并行调度结束后如何释放闲置进程的内存?

并行任务闲置进程的内存与CPU释放问题

我有若干任务,为在合理时间内完成采用并行运行方式。根据相关术语,我的问题属于wide scenario(宽场景),即部分任务可能很快完成,部分则可能运行数天。我使用pool.map_async且chunksize = 1。

当几乎所有任务完成后,部分进程处于闲置状态但仍占用系统内存,能否释放这些内存或关闭这些进程?

我的思路:

  • 尝试在每个任务结束前释放其中创建的**heavy(大内存)**变量,内存占用从1.6%降至1.3%。
  • 一种变通方案是在iterable末尾添加虚拟任务,但并非合理方案,尚未尝试。

附:闲置进程仍消耗CPU,CPU使用率从99%降至接近0需较长时间。

内容的提问来源于stack exchange,提问作者piogor

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.11 18:33:08