如何并行运行Perl测试脚本并将输出捕获到各独立文件中

原代码存在的核心问题 #

• 变量名错误：定义的输出文件变量是$this_test_file_name，但system调用中错误使用了未定义的$test_file_name，导致输出路径无效，这是捕获不到输出的首要原因
• 仅重定向了标准输出(STDOUT)，没有捕获标准错误(STDERR)，需要添加2>&1合并两个输出流
• 文件名前缀提取的正则鲁棒性差，无法匹配带特殊字符、包含路径的测试文件名
• 直接用system加后台符号的方式无法管理子进程，容易出现僵尸进程、进程状态无法追踪的问题
• 硬编码路径分隔符\\仅适配Windows环境，兼容性差

最小修改可用版本（适配Windows环境） #

foreach my $file ( @files) {
    next unless $file =~ /\.t$/;
    print "\$file = $file\n";

    $file =~ /^(\w+)\.\w+/;
    my $file_pfx = $1;
    # 修正变量名
    my $test_file_name = $file_pfx . '.txt';
    # 增加STDERR捕获
    system("perl $test_dir\\$file > results\\$test_file_name 2>&1") && die "cmd failed: $!\n";
}

如果需要并行执行，不要直接在命令结尾加&，Windows下cmd的后台语法是start /B，类Unix才是&，更稳妥的方式是用成熟的并行模块实现。

推荐生产级实现（跨平台+进程管理+可靠捕获） #

首先安装依赖模块：cpanm Parallel::ForkManager File::Basename File::Spec

use strict;
use warnings;
use Parallel::ForkManager;
use File::Basename qw(fileparse);
use File::Spec;

# 最大并行进程数，可根据CPU核心数调整
my $max_processes = 4;
my $pm = Parallel::ForkManager->new($max_processes);

# 确保结果目录存在
mkdir 'results' unless -d 'results';

foreach my $file (@files) {
    next unless $file =~ /\.t$/;
    print "\$file = $file\n";
    
    # 启动子进程
    $pm->start and next;
    
    # 安全提取文件名前缀，不受路径、特殊字符影响
    my ($file_pfx) = fileparse($file, qr/\.t$/);
    my $output_file = File::Spec->catfile('results', $file_pfx . '.txt');
    my $test_path = File::Spec->catfile($test_dir, $file);
    
    # 执行测试并捕获所有输出
    open my $out_fh, '>', $output_file or die "无法打开输出文件 $output_file: $!";
    my $output = `perl $test_path 2>&1`;
    print $out_fh $output;
    close $out_fh;
    
    # 子进程结束
    $pm->finish;
}

# 等待所有子进程执行完毕
$pm->wait_all_children;

额外说明 #

• 如果需要分开存储STDOUT和STDERR，把重定向语法改成> stdout.txt 2> stderr.txt即可
• 不需要额外处理输出缓冲，Perl的反引号会捕获全部执行完成后的输出内容
• 进程数不要设置超过CPU核心数，否则会因为上下文切换降低执行效率

内容的提问来源于stack exchange，提问作者dc_nerd