如何使用GNU Parallel向Bash脚本传递参数并实现并行执行
GNU Parallel 带参执行自定义Bash脚本的正确方法
你尝试的parallel -a bash_script argument存在明显语法错误:-a是GNU Parallel的内置参数,作用是从指定文件中逐行读取内容作为并行任务的输入变量,并非用来指定要执行的脚本,这个写法完全无法正常运行。
结合你当前的使用场景,对应两种常见的并行需求,正确实现写法如下:
场景1:并行触发多个脚本实例,传入不同参数
如果你的需求是针对多个待传输的zip包(比如分别要传test1、test2、test3三个包,对应执行3次bash_script.sh,每次传入不同的$1参数),不需要修改原有脚本结构,直接使用如下命令即可:
# 把所有需要传入的参数列在:::后面,Parallel会自动把每个参数作为脚本的$1值 parallel bash bash_script.sh ::: test1 test2 test3
如果你的所有待传参数存在一个文本文件(比如param_list.txt,每行写一个参数名),可以搭配-a参数读取文件内容自动传参,命令写法为:
parallel bash bash_script.sh :::: param_list.txt
Parallel会自动为每个传入的参数启动一次独立的脚本执行,所有任务默认并行运行、互不干扰,传参逻辑和你原来的串行执行bash bash_script.sh argument完全一致。
场景2:将单个文件的5次scp操作并行化
你原来的脚本是串行执行5次scp,把同一个zip传到5台服务器,总耗时是5次scp的时间累加。如果你的核心需求是把这5次传输提速,不需要绕一层自定义脚本,直接用Parallel调度scp任务即可,命令写法为:
# 假设你要传入的参数是argument,对应传输文件为argument.zip # Parallel会自动为每台服务器启动一个独立的scp进程并行执行 parallel scp argument.zip xxx@{}.com:~/ ::: 1 2 3 4 5
这种写法和你原来脚本的最终执行效果完全一致,不需要维护硬编码地址的自定义脚本,后续要增减服务器、替换传输文件时只需要改命令参数即可,灵活度更高。
注意事项
- 不要把
-a参数和执行目标搞混,-a后面必须跟存参数列表的文本文件路径,不能跟要执行的脚本名。 - 如果后续需要控制并行度,比如最多同时跑2个任务,可以在命令中加入
-j 2参数,避免同时打开过多scp连接触发服务器连接限制。
内容的提问来源于stack exchange,提问作者Sunchi
相关产品推荐
相关产品推荐

