如何在while循环中并行调用并执行Shell脚本函数

方法一：后台进程+wait控制并发 #

直接将函数调用放到后台运行（加&），同时通过计数器控制并发数，避免系统资源被占满：

# 设置最大并发进程数
MAX_PARALLEL=5
count=0

process() {
  # 这里替换成你的cURL POST逻辑
  curl -X POST "https://your-api-endpoint.com" -d "param1=$1&param2=$2"
}

while read -r line
do
  # 示例：从每行提取参数，根据实际格式调整
  param1=$(echo "$line" | cut -d',' -f1)
  param2=$(echo "$line" | cut -d',' -f2)
  
  # 后台执行函数
  process "$param1" "$param2" &
  
  # 每达到最大并发数时，等待所有后台进程完成
  ((count++))
  if (( count % MAX_PARALLEL == 0 )); then
    wait
  fi
done <<< "$results"

# 等待最后一批未完成的后台进程
wait

方法二：GNU Parallel 正确用法 #

如果之前用GNU Parallel没成功，大概率是没导出函数或者参数传递方式不对，正确步骤如下：

步骤1：导出函数 #

Parallel默认在子shell中执行，需要先将函数导出到环境变量：

export -f process

步骤2：直接处理输入行 #

如果你的$results每行是用固定分隔符（比如逗号）分隔的参数，可以直接让Parallel拆分调用：

process() {
  # 替换为你的cURL逻辑
  curl -X POST "https://your-api-endpoint.com" -d "param1=$1&param2=$2"
}

# --colsep 指定参数分隔符，{1} {2}对应第一、第二个参数
echo "$results" | parallel --colsep ',' process {1} {2}

步骤3：结合原有循环提取参数 #

如果需要保留原有循环的参数提取逻辑，可将提取后的参数传递给Parallel：

export -f process

while read -r line
do
  # 原有参数提取逻辑
  param1=$(echo "$line" | cut -d',' -f1)
  param2=$(echo "$line" | cut -d',' -f2)
  # 将参数输出给Parallel
  echo "$param1 $param2"
done <<< "$results" | parallel -N2 process {1} {2}

注：Parallel默认按CPU核心数设置并发，可通过-j参数指定，比如-j10表示同时运行10个进程。

内容的提问来源于stack exchange，提问作者irfan basha