如何并行化包含screen的Bash for循环并限制进程数量？

你的思路方向是对的——通过监控运行中的进程数来限制并发，但当前脚本有个核心问题：screen -d -m启动的会话不会被当前Shell的jobs命令追踪，所以你的并发控制逻辑完全失效了，等于所有100个任务会被尽可能快地启动，根本不会受num_cores=25的限制。另外，用read -r -a解析jobs输出的方式也容易出现计数不准的问题。

我给你两种解决方案，根据你的需求选择：

方案一：不用screen，直接后台运行（推荐） #

如果你的任务不需要保留可重连的会话，只是要后台并行，直接用&启动任务是最简单可靠的方式：

#!/usr/bin/env bash
num_cores=25
num_jobs=100

for ((i = 0; i < num_jobs; i++)); do
    # 等待直到运行中的后台任务数低于设定值
    while (( $(jobs -r | wc -l) >= num_cores )); do
        wait -n  # 等待任意一个后台任务结束
    done
    # 启动新任务并后台运行
    NAME="job_$i"
    echo "Starting $NAME"
    bash -c "my bash command" &
done

# 等待所有剩余任务完成后再退出脚本
wait
echo "All jobs completed successfully!"

这个方案的优势： #

• jobs -r | wc -l直接统计当前Shell的活跃后台进程数，比解析数组更稳定
• wait -n会精准等待任意一个后台任务结束，立刻启动新任务，不会浪费空闲资源
• 代码简洁，维护成本低

方案二：必须用screen时的进程追踪方案 #

如果你的场景确实需要用screen（比如后续要重新连接任务会话），那得手动记录每个screen进程的PID，通过检查PID状态来控制并发：

#!/usr/bin/env bash
num_cores=25
num_jobs=100
declare -a active_pids=()  # 保存正在运行的screen进程PID

for ((i = 0; i < num_jobs; i++)); do
    # 清理已结束的进程PID，直到有空闲位置
    while (( ${#active_pids[@]} >= num_cores )); do
        # 遍历数组，移除已终止的PID
        for pid in "${active_pids[@]}"; do
            if ! kill -0 "$pid" 2>/dev/null; then
                active_pids=("${active_pids[@]/$pid}")
            fi
        done
        # 如果还是满负荷，短暂等待后再检查
        (( ${#active_pids[@]} >= num_cores )) && sleep 1
    done

    # 启动screen任务并记录PID
    NAME="job_$i"
    screen -S "$NAME" -d -m bash -c "my bash command"
    # 提取screen会话的进程ID
    screen_pid=$(screen -ls "$NAME" | grep -o '[0-9]*\.' | head -n1 | tr -d '.')
    active_pids+=("$screen_pid")
    echo "Started $NAME (PID: $screen_pid)"
done

# 等待所有screen任务完成
echo "Waiting for all screen jobs to finish..."
for pid in "${active_pids[@]}"; do
    wait "$pid" 2>/dev/null
done
echo "All screen jobs completed!"

关键说明： #

• kill -0 "$pid"是无伤害的进程检查命令，只验证进程是否存在，不会终止它
• 定期清理数组里的无效PID，确保并发数统计准确
• 最后用wait等待所有剩余进程结束

额外小技巧 #

如果你的任务是批量处理文件或有规律的参数，完全可以用现成的工具简化逻辑：

• 用xargs：seq 0 99 | xargs -I {} -P 25 bash -c "my bash command"
• 用parallel：parallel -j 25 bash -c "my bash command" ::: {0..99}
  这些工具自带成熟的并发控制，比自己写循环更省心。

内容的提问来源于stack exchange，提问作者Matt