如何提升Raku语法并行解析的并行度以加快处理速度？

我用Raku解析数百个文件，最初采用普通循环处理：

for @files -> $file {
    my $input = $file.IO.slurp;
    my $output = parse-and-convert($input);
    $out-dir.IO.add($file ~ '.out').spurt: $output;
}

这种方式耗时约20秒。之后改用并行处理：

my @promises;
for @files -> $file {
    my $input = $file.IO.slurp;
    @promises.append: start parse-and-convert($input);
}

for await @promises -> $output {
    $out-dir.IO.add($file ~ '.out').spurt: $output;
}

虽然可行，但加速效果远低于预期——耗时约11秒，仅达到2倍加速。我的系统有16核，但程序最多占用不到6核，存在明显的资源竞争和开销。通过say now - INIT.now确认耗时主要集中在await阶段，但不知道如何在Raku层面进一步调试分析（Linux下可以用perf，但不确定是否有效）。想找简单的方法提升并行度，尽量不重写核心逻辑（除非是避免动态变量这类特定情况）。

优化建议 #

1. 将完整IO流程纳入并行任务 #

当前代码中$file.IO.slurp是在主线程串行执行的，这会成为并行效率的瓶颈。把文件读取、解析转换、写入输出的完整流程都放进start块，让IO和计算操作都并行执行：

my @promises = do for @files -> $file {
    start {
        my $input = $file.IO.slurp;
        my $output = parse-and-convert($input);
        $out-dir.IO.add($file ~ '.out').spurt: $output;
    }
}

await @promises;

这样能避免主线程串行读文件拖慢整体速度，让更多核心参与工作。

2. 调整Raku线程池大小 #

Raku默认线程池大小可能限制了并行度，可通过自定义调度器适配16核系统：

use ThreadPoolScheduler;
my $scheduler = ThreadPoolScheduler.new( max_threads => 16 );
$*SCHEDULER = $scheduler;

# 执行并行任务
my @promises = do for @files -> $file {
    start {
        # 完整文件处理逻辑
    }
}
await @promises;

注意线程数不要超过物理核心数，避免上下文切换额外开销。

3. 排查parse-and-convert的串行瓶颈 #

如果解析转换函数内部存在全局锁、共享状态或串行逻辑，会直接限制并行效率，可检查：

• 是否使用了全局变量、单例对象等共享状态
• 是否依赖动态变量（如$*VAR），这类变量在并行线程中会有上下文复制开销
• 单个文件的解析逻辑是否可进一步拆分并行处理

4. Raku层面的调试方法 #

• 在start块内添加计时日志，打印单个文件的处理时长，定位耗时异常的文件：

  start {
      my $start = now;
      # 文件处理逻辑
      say "Processed $file in {now - $start} seconds";
  }
  

• 使用--profile参数运行程序，生成性能分析报告，查看函数调用耗时、线程调度情况：

  raku --profile your-script.raku
  

• 单独测试单个文件的解析耗时，确认是IO还是计算环节导致的瓶颈。

内容的提问来源于stack exchange，提问作者VZ.