如何使用GNU Parallel并行处理含循环的Shell函数？

我帮你梳理下代码里的几个关键问题，以及怎么调整才能让GNU Parallel正常工作：

核心问题所在 #

1. Parallel用法完全偏离预期
   你写的parallel ::: foo是把整个foo函数当作单个任务来执行，根本没用到Parallel的并行能力。你需要的是让Parallel帮你拆分任务（比如master.txt里的每组参数、execute目录下的每个脚本），而不是把整个函数丢给它跑一次。

2. 无意义的后台操作导致资源浪费
   比如cd ~/sh/path/to/script &这种操作完全没必要：cd是shell内置命令，后台执行只会在子shell里切换目录，对当前执行环境毫无影响，反而会创建一堆无意义的子进程占用CPU资源——这也是你看到核心被占但htop找不到对应进程的原因之一，这些子进程属于Parallel的进程组，默认可能没显示出来。

3. 循环读取文件与Parallel的并行逻辑冲突
   你在函数内部用done < master.txt循环读取三行数据，但Parallel本身就是用来批量处理任务的工具，这种“函数内部循环+外部Parallel单任务”的模式完全违背了Parallel的设计逻辑，只会导致任务阻塞和资源浪费。

修正后的实现方案 #

我们重构逻辑，让Parallel负责分发每个独立任务，同时避免不必要的后台操作：

步骤1：预处理master.txt #

先把master.txt里的注释行过滤掉，再把每三行合并成一行（方便Parallel读取参数）：

grep -v '^#' master.txt | paste - - - > master_processed.txt

步骤2：编写单任务处理函数 #

把原来函数里的循环逻辑拆成单个任务的处理逻辑，确保每个任务独立：

#!/bin/bash

# 定义处理单组参数的函数，参数对应master.txt里的三行内容
process_task() {
    local l1="$1"
    local l2="$2"
    local l3="$3"
    local base_dir="${HOME}/sh/path/to/script"
    local execute_dir="${base_dir}/execute"
    local here_dir="${base_dir}/here"

    # 创建参数文件（不需要后台，单任务内按顺序执行即可）
    mkdir -p /dev/shm/arb
    echo "${l1}" > /dev/shm/arb/arg.txt
    echo "${l2}" > /dev/shm/arb/arg2.txt
    echo "${l3}" > /dev/shm/arb/arg3.txt

    # 执行execute目录下的所有脚本
    # 如果脚本之间无依赖，也可以用Parallel并行执行这些脚本：parallel bash -H ::: *.sh
    cd "${execute_dir}"
    for f in *.sh; do
        bash -H "${f}"
    done

    # 执行here.sh
    cd "${here_dir}"
    ./here.sh
}

# 导出函数，让Parallel可以调用
export -f process_task

# 用Parallel并行处理所有任务
# -j+0 表示使用所有可用核心，也可以指定具体数值比如-j4
parallel -j+0 process_task :::: master_processed.txt

关键调整说明 #

• 任务拆分：让Parallel负责处理master_processed.txt里的每一行（对应原文件的三行参数），每行对应一个独立的并行任务。
• 去掉冗余后台操作：任务内部的步骤按顺序执行，避免依赖问题（比如参数文件没写完就执行脚本），同时减少无意义的子进程。
• 局部变量：用local定义函数内的变量，避免并行任务之间的变量污染。
• 明确并行层级：如果execute目录下的脚本也需要并行，可以把里面的for循环换成parallel bash -H ::: *.sh，但要确保脚本之间没有依赖关系。

这样调整后，你应该能看到htop里显示出Parallel创建的各个任务进程，核心资源也会被合理利用，同时任务能正常输出结果。

内容的提问来源于stack exchange，提问作者Caucasian Malaysian