GNU Parallel如何提高sshloginfile节点列表的检查频率

适配不同版本的可行方案 #

• 如果你使用的是 20210822 及以上版本的 GNU Parallel，可直接使用内置的重读间隔参数，指定--slf-reread参数设置检查间隔，单位为秒：

parallel --slf 你的ssh登录文件路径 --slf-reread 1800 ::: 你的任务列表

上述配置会每30分钟自动重读一次sshloginfile，不需要等待当前运行的作业完成即可更新可用节点列表。

• 如果你使用的版本不支持上述参数，可以给运行中的GNU Parallel进程发送SIGHUP信号，触发立即重读sshloginfile：

pkill -HUP parallel

你可以配合定时任务定期执行上述命令，自定义检查频率，已经在运行的作业不会受到影响，新增的节点会自动承接后续待调度的任务。

• 也可以将单条8小时以上的长作业拆分为多个短时长的小任务单元，每次短任务运行结束后GNU Parallel会自动触发sshloginfile检查，间接提升刷新频率，该方案兼容所有版本的GNU Parallel。

注意：刷新后如果sshloginfile中移除的节点，已经分配到该节点运行的任务会按照你预先配置的重试/容错逻辑处理，不会直接中断丢失。

内容的提问来源于stack exchange，提问作者Andrew Saydjari