如何在Shell循环中同时运行多个任务 实现10个some-command并行执行

你自己编写的实现方案不可直接运行，存在以下问题：

• Bash 变量大小写敏感，你代码中定义的是小写$i，后续引用的大写$I是空值，无法传递正确的参数
• 直接写$I+1不会自动执行算术计算，只会被识别为普通字符串，比如i=1时会得到1+1而非你预期的2
• 按固定10个分块等待的逻辑会导致资源浪费：如果同组内有1个任务执行很慢，其余9个任务完成后也会闲置等待，无法提前启动下一批任务

方案1：修正原有逻辑 #

如果要保留你分批次执行的思路，修正后可运行的代码如下：

for i in `seq 1 10 100`
do
    echo "启动批次起始ID：$i"
    for offset in {0..9}
    do
        task_id=$((i + offset))
        some-command $task_id &
    done
    wait # 等待当前批次10个任务全部完成再进入下一批
done

该方案可以正常运行，但还是存在分块等待导致的资源闲置问题。

方案2：使用xargs实现更灵活的并行（更推荐） #

这是生产环境最常用的并行控制方式，代码更简洁，资源利用率更高：

seq 100 | xargs -n 1 -P 10 some-command

参数说明：

• -n 1：每次给some-command传递1个参数
• -P 10：最多同时运行10个后台进程，只要有进程结束就自动补入新的任务，不会出现整组闲置的情况

如果需要打印任务编号或者做其他前置操作，可以改成：

seq 100 | xargs -n 1 -P 10 bash -c 'echo 执行任务编号：$1; some-command $1' _

额外建议 #

如果some-command会输出内容到标准输出/标准错误，建议给每个任务单独加输出重定向，避免多个进程的输出混叠难以排查问题，示例：

seq 100 | xargs -n 1 -P 10 bash -c 'echo "执行任务$1" > task_$1.log; some-command $1 >> task_$1.log 2>&1' _

内容的提问来源于stack exchange，提问作者vego