如何实现Shell并行任务自动补位，优化多核CPU执行时间？

方法1：正确配置GNU Parallel #

你之前用parallel -a script.sh未达预期，核心是没明确锁定并行任务数并启用动态补位逻辑。GNU Parallel本身支持任务完成后立即启动新任务，只需显式指定并行数：

parallel --jobs 96 --ungroup < script.sh

• --jobs 96：强制维持同时运行96个任务，一旦有任务结束就立即启动下一个补位
• --ungroup：避免多任务输出错乱（可选，按需启用）
  确保script.sh每行是完整可执行命令（例如cd ./task_dir && ./fortran_executable），该命令会逐行执行并自动补位空闲CPU slot。

方法2：用xargs实现动态并行补位 #

xargs的-P参数可指定最大并行进程数，配合-L 1逐行处理命令，同样能实现动态补位：

cat script.sh | xargs -L 1 -P 96 bash -c

• -L 1：每次读取script.sh的一行作为执行命令
• -P 96：限制同时运行的进程数为96
• bash -c：确保cd这类路径切换命令在独立子shell中生效，不影响其他任务

方法3：自定义Shell进程池脚本 #

如果不想依赖第三方工具，可自行编写脚本控制进程数量：

#!/bin/bash
MAX_PROCS=96
running=0

while read -r cmd; do
    bash -c "$cmd" &
    running=$((running+1))
    # 达到最大进程数时，等待任意一个任务结束再继续
    if [ $running -ge $MAX_PROCS ]; then
        wait -n
        running=$((running-1))
    fi
done < script.sh

# 等待剩余所有任务完成
wait

将脚本保存为run_pool.sh，赋予执行权限后运行：

chmod +x run_pool.sh
./run_pool.sh

该脚本会逐行读取任务命令，始终维持96个后台任务运行，彻底避免CPU闲置。

关键注意事项 #

• 确保script.sh每行命令包含完整路径切换与执行逻辑（如cd ./task_001 && ./fortran_prog > log.txt 2>&1），每个任务在独立子shell中运行，互不干扰
• 单个任务占1%CPU，96个任务刚好占用约96%CPU资源，不会导致系统过载
• 建议将任务输出重定向到对应文件夹的日志文件，避免多任务输出混乱

内容的提问来源于stack exchange，提问作者Sebastián Alfonso Núñez Jara