GNU xargs并行任务报错后未等待运行中子进程提前退出问题咨询

结论 #

这是GNU findutils 4.7.0版本中xargs的已知bug，和你的使用逻辑无关。

触发原因 #

该bug的触发条件为：

• 你通过返回255状态码告知xargs终止后续任务启动
• 触发终止时，所有待执行任务已经全部分配给了正在运行的worker进程，没有剩余未分配的任务

你的3任务场景刚好符合这个条件：最大并行数2，先跑4、2，2跑完后启动第三个任务1，此时所有3个任务都已经分配完毕，1报错触发终止时没有剩余待分配任务，xargs就会直接退出，不会等待还在运行的sleep 4任务。
而你加了第4个任务5的场景，1报错触发终止时，任务5还没分配，xargs就走正常终止逻辑，会等待所有已启动的任务运行完毕后再退出。

解决方案 #

1. 升级GNU findutils到4.8.0及以上版本，该版本已经修复了这个问题，终止逻辑会统一等待所有已启动子进程退出后再结束xargs进程。
2. 替换为GNU Parallel实现并行控制，它默认就符合你的需求：某任务报错后停止启动新任务，等待所有已启动任务运行结束后再退出，写法更简洁：

printf '%s\0' 4 2 1 | parallel -0 -j 2 foo

3. 若无法升级也不想安装新工具，可以在脚本中补充等待逻辑，捕获xargs启动的所有子进程ID，等待所有进程结束后再执行后续逻辑。

内容的提问来源于stack exchange，提问作者Yuri Astrakhan