如何优化Perl脚本实现多服务器文件同时下载以缩短耗时？

现有一款从不同服务器下载文件的Perl脚本，当前运行耗时长达数小时。正在向开发团队获取完整细节，现寻求实现多文件同时下载的可行方案。

原脚本代码 #

sub getConfData {
    my $mech = WWW::Mechanize->new( autocheck => 1 );

    print "USER NAME :- $Inputs::conf_user\n";
    print "USER PASS :- $Inputs::conf_pass\n";

    $mech->credentials( "$Inputs::conf_user" => "$Inputs::conf_pass" );
    logs( $Inputs::logpath, "Opening the URL of confD : $Inputs::conf_url" );
    print "Opening the URL of confD : $Inputs::conf_url\n";
    
    $mech->mirror( $Inputs::conf_url, $Inputs::conf_arch );

    my $next = Archive::Tar->iter( $Inputs::conf_arch, 1, { filter => qr// } );
    my $confdName = $next->()->name;
    logs( $Inputs::logpath, "confD Downloading Filename is  : $confdName" );
    print "confD Downloading Filename is  : $confdName\n";
    my $tar = Archive::Tar->new();
    $tar->read($Inputs::conf_arch) or die logs( $Inputs::errorpath, " Unable to read the TAR file." );
    $tar->extract();

    my $destination = "$Inputs::download_path" . "$Inputs::confddb";
    rmtree($destination);
    my $cwd = getcwd();
    move_reliable( "$confdName", "$destination" ) or logs( $Inputs::errorpath, " unable to move folder to $destination." );
    logs( $Inputs::logpath, "Moving confD $confdName to $Inputs::download_path" . "$Inputs::confddb" );
    print "Moving confD $confdName to $Inputs::download_path $Inputs::confddb\n";

    if ($@) {
        my $message = "Failed to pull confd data and write it to $Inputs::download_path :: $@";
        send_mail( $Inputs::from, $Inputs::to, $Inputs::error_subject, $message );
        logs( $Inputs::errorpath, " $message" );
        die("$message");
    }
    else {
        unlink $Inputs::conf_arch or die logs( $Inputs::errorpath,"COULD NOT UNLINK $Inputs::conf_arch" );
        unlink $destination;
       }
   }


 
    foreach my $server (@productList) {
           my $pid;
           if ( defined( $pid = fork ) ) {
               if ( !$pid ) {
                   exec("$main_file $server &");
                   die "Error executing command: $!\n";
               }
           }
           else {
               die "Error in fork: $!\n";
              }
           }
 
       logs( $Inputs::logpath, "Downloading config started at :" . datetimes( 'dtime', 'db' ) );
        &getConfData();
       logs( $Inputs::logpath, "Downloading config completed at :" . datetimes( 'dtime', 'db' ) );

        print "Downloading config Completed at : ". datetimes( 'dtime', 'normal' ) . "\n";
        logs( $Inputs::logpath, "Downloading config completed at :" . datetimes( 'dtime', 'db' ) );

可行的并行下载方案 #

1. 用Parallel::ForkManager替代原生fork #

原生fork缺乏进程数量控制和错误追踪机制，推荐用Parallel::ForkManager管理并发进程，避免耗尽系统资源：

use Parallel::ForkManager;

# 根据服务器性能设置最大并发数，比如10
my $pm = Parallel::ForkManager->new(10);

foreach my $server (@productList) {
    $pm->start and next; # 启动子进程，父进程跳过后续逻辑
    # 改造getConfData，让它接收服务器参数，动态设置对应URL、输出路径
    getConfDataForServer($server);
    $pm->finish; # 子进程结束
}
$pm->wait_all_children; # 父进程等待所有子进程完成

需调整getConfData逻辑，支持传入服务器参数，确保每个子进程处理不同服务器的下载任务，同时完善日志和错误捕获。

2. 改用异步HTTP客户端替代WWW::Mechanize #

WWW::Mechanize是同步阻塞的，单进程同一时间只能处理一个请求。改用Mojo::UserAgent这类异步客户端，可在单进程内实现多请求并行，资源占用更低：

use Mojo::UserAgent;
use Mojo::IOLoop;
use MIME::Base64;

my $ua = Mojo::UserAgent->new;
# 生成所有服务器的下载任务列表
my @server_tasks = map {
    {
        url => get_server_conf_url($_),
        output_file => get_output_file_path($_),
        dest_path => "$Inputs::download_path" . get_server_confdb($_)
    }
} @productList;

foreach my $task (@server_tasks) {
    # 发起异步GET请求，带上Basic认证
    $ua->get_p($task->{url} => { 
        Authorization => 'Basic ' . encode("$Inputs::conf_user:$Inputs::conf_pass") 
    })
    ->then(sub {
        my $tx = shift;
        # 保存下载的归档文件
        $tx->res->content->asset->move_to($task->{output_file});
        # 处理归档：解压、移动
        process_archive($task->{output_file}, $task->{dest_path});
    })
    ->catch(sub {
        my $err = shift;
        logs($Inputs::errorpath, "服务器下载失败 $task->{url}: $err");
    });
}

Mojo::IOLoop->start; # 启动事件循环，等待所有请求完成

配套实现get_server_conf_url、get_output_file_path、process_archive辅助函数，封装原getConfData里的解压、移动逻辑。

3. 优化现有fork逻辑（若坚持用原生fork） #

如果不想引入新模块，需完善现有fork的缺陷：

• 限制并发数：用计数器控制同时运行的子进程数量，达到上限时等待子进程结束再启动新进程
• 追踪子进程状态：记录每个PID对应的服务器信息，便于排查失败任务
• 处理僵尸进程：添加SIGCHLD信号处理，自动回收子进程资源

4. 额外优化点 #

• 归档处理并行化：如果解压、移动文件耗时，将这部分逻辑也放到子进程或异步任务中
• 缓存校验：下载前检查本地是否有最新版本文件（对比大小、修改时间），避免重复下载
• 动态限流：根据目标服务器负载、本地带宽调整并发数，防止对服务器造成过大压力

内容的提问来源于stack exchange，提问作者sergey faryniuk