使用wget并行下载文件时脚本无法正常退出的问题

问题原因分析 #

你遇到的这个情况，本质是后台进程的输出干扰了终端状态，或者脚本没有等待所有后台任务完成就结束了。当你用wget "$f" &把下载进程丢到后台时，这些进程的输出（比如下载进度条、完成提示）会和终端的提示符混在一起，导致脚本执行完后，终端界面没有正确刷新，看起来像是“卡住”了，需要手动回车来让终端重新显示提示符。另外，如果脚本没等后台进程完成就结束，终端可能还在等待作业通知，也会出现类似情况。

快速解决自动退出的问题 #

这里有两个简单的办法：

1. 等待所有后台任务完成后再退出脚本
   在脚本的最后一行加上wait命令，它会让脚本暂停执行，直到所有由当前脚本启动的后台进程都完成。这样脚本会等到所有下载都结束后才真正退出，终端也会正常回到提示符，不需要手动回车。示例脚本片段：

   # 假设你是循环处理拆分后的小文件里的链接
   for f in split_files/*; do
       wget -i "$f" &  # 或者你原来的download命令，这里以wget为例
   done
   wait  # 关键：等待所有后台wget进程完成
   echo "所有下载任务完成！"
   

2. 重定向后台进程的输出，避免干扰终端
   如果不想等待所有任务完成，只是希望脚本结束后终端能正常显示，可以把wget的输出重定向到文件或者/dev/null，避免后台进程的输出打乱终端界面。比如：

   for f in split_files/*; do
       wget -i "$f" >download_logs/$(basename "$f").log 2>&1 &
   done
   

   这样每个下载任务的日志会存在单独的文件里，终端不会被输出干扰，脚本执行完后直接回到正常提示符。

更优的并行下载方案 #

你提到手动拆分文件+后台进程的方式不是最优的，确实如此——这种方式不仅麻烦，还很难控制并行进程的数量，容易因为启动太多进程导致系统资源占用过高。推荐两个更专业的工具：

1. 使用xargs控制并行数

xargs的-P参数可以指定同时运行的进程数量，非常适合批量处理下载任务，不需要拆分文件：

# 从test.txt读取链接，每次给wget传1个链接，同时运行10个并行进程
cat test.txt | xargs -n 1 -P 10 wget

• -n 1：每次给wget传递1个链接（确保每个wget进程处理一个链接）
• -P 10：最多同时运行10个wget进程，你可以根据自己的网络和系统资源调整这个数字（比如8、15）

2. 使用parallel工具（功能更强大）

parallel是专门为并行任务设计的工具，比xargs更灵活，支持复杂的命令、任务分发、进度显示等。如果你的系统没安装，可以用包管理器安装（比如apt install parallel或者brew install parallel）。使用方法：

# 直接从test.txt读取所有链接，并行下载，默认并行数是CPU核心数
parallel wget :::: test.txt

# 或者指定并行数为12
parallel -j 12 wget :::: test.txt

它还支持给每个下载任务加自定义参数，比如指定输出目录：

parallel wget -P downloads/ :::: test.txt

这两种方式都不需要手动拆分文件，还能精准控制并行数量，比手动后台启动进程要高效得多。

内容的提问来源于stack exchange，提问作者Adrian