如何让GNU Parallel适配my-runner实现基于背压的动态负载均衡

问题背景 #

我有一个程序my-runner，具备以下特性：

• 从标准输入逐行读取输入
• 收到输入行后立即执行对应操作
• 不同输入行的执行时间差异极大，部分行耗时是其他行的100或1000倍
• 启动速度慢

当前面临的矛盾：

• 小批量任务（如 <input> | parallel --pipe -N 1 my-runner）能适配耗时差异，但启动开销主导总耗时
• 大批次任务（如 <input> | parallel --pipe -N 100 my-runner）能规避启动慢，但总耗时会被慢任务进程拖累

需求：实现逐行将输入分配给运行中的my-runner进程，进程完成一行后无需重启即可接收新行的负载均衡调度，伪代码逻辑如下：

runners = [my-runner, my-runner]

foreach line from stdin 
    runner = waitForNextAvailableRunner()
    runner.stdin.sendLine(line)
    runner.stdout.whenLineProcessingFinished(markRunnerAsAvailable)

解决方案 #

1. 使用GNU Parallel实现 #

GNU Parallel支持持久化worker进程的模式，完全匹配需求：

cat input.txt | parallel --pipe --keep-order -j 2 --block 1 --recend '\n' my-runner

参数说明：

• -j 2：启动2个持久化的my-runner worker进程（可根据硬件资源调整数量）
• --pipe：将输入分发给worker进程
• --block 1 --recend '\n'：强制以行为单位分配输入，确保每一行单独发送给空闲worker
• --keep-order：保持输出顺序与输入一致（无需顺序可省略）

该模式下，worker进程启动后持续运行，处理完一行立即接收下一行，彻底规避启动开销，同时自动将新任务分配给空闲worker，完美适配任务耗时差异的场景。

2. 其他可选工具 #

(1) 基于命名管道的简易调度

利用操作系统管道的特性实现负载均衡：

1. 创建命名管道：

mkfifo task_queue

2. 启动2个持久化worker进程：

my-runner < task_queue &
my-runner < task_queue &

3. 将输入逐行写入队列：

cat input.txt > task_queue

空闲的worker会优先读取队列中的行，自动实现负载均衡，且worker进程持续运行无需重启。

(2) s6-supervise 进程守护调度

如果需要保障worker进程的稳定性（意外退出自动重启），可以用s6-supervise管理多个my-runner实例，配合命名管道分发任务，逻辑与上述管道方案一致，但自带进程监控重启机制。

示例验证 #

假设并行运行2个worker，启动耗时2秒，任务耗时分别为：t1=4s、t2=1s、t3=1s、t4=1s、t5=1s

• 持久化worker方案总耗时：6秒（启动2秒 + t1的4秒，期间另一个worker并行处理完t2-t5）
• 单进程串行处理总耗时：9秒（启动2秒 + 所有任务耗时总和）
• 轮询分配任务总耗时：8秒（启动2秒 + 进程1处理t1+t3+t5的6秒，进程2处理t2+t4的2秒）

显然持久化worker方案效率最优。

内容的提问来源于stack exchange，提问作者Tiddo