如何配置GNU parallel实现任务完成即自动调度利用闲置资源

GNU Parallel默认设计就是单个任务运行结束后立刻用新任务填补空闲核心，根本不会等整批5个任务全跑完才加载下一批。你遇到核心闲置的情况，基本是输入文件格式问题或者版本问题导致的，按下面步骤排查修复即可：

• 先清理任务文件：你的parallellise.sh里如果存在空行、注释行，会被Parallel识别为无效空任务，看起来就像核心空着没任务跑。执行下面命令清理无效内容：

  grep -vE '^(\s*$|\s*#)' parallellise.sh > clean_tasks.sh
  

• 显式指定调度参数启动，避免老版本默认行为异常。CentOS默认软件源携带的GNU Parallel版本非常老旧，部分旧版本存在调度逻辑bug，启动时加上--lb（行缓冲+即时调度）参数，用清理后的任务文件启动：

  nohup parallel -j 5 --lb -a clean_tasks.sh &
  

• 可以先跑测试命令验证调度逻辑是否正常：

  seq 1 10 | parallel -j 5 'echo start job {}; if [ {} -le 2 ]; then sleep 1; else sleep 10; fi; echo end job {}'
  

  正常运行的话，任务1、2会在1秒后结束，立刻自动启动任务6、7，不会等3、4、5运行完成，不会出现核心闲置。

如果执行测试命令还是出现整批等待的情况，说明你装的Parallel版本过老，升级到2020年后的版本即可恢复正常调度逻辑。

内容的提问来源于stack exchange，提问作者lifezbeautiful