从R大量调用Perl时避免文件句柄耗尽的解决方案

这个问题我之前在macOS下也碰到过——频繁用system()启动新进程，哪怕进程很快退出，系统回收文件描述符的速度赶不上你创建进程的速度，累积到上限就会触发报错。下面给你几个可行的解决方案，按推荐优先级排序：

1. 最优解：把Perl逻辑迁移到R（如果可行） #

如果你的Perl脚本只是计算字符串距离（比如莱文斯坦距离、汉明距离这类常见的），R里有现成的包可以直接实现，完全不用跨语言调用。比如stringdist包支持几乎所有常用的字符串距离计算：

# 先安装包（第一次用）
install.packages("stringdist")
library(stringdist)

# 假设你有两个字符串向量需要计算对应距离
str1_vec <- sample(letters, 10000, replace = TRUE)
str2_vec <- sample(letters, 10000, replace = TRUE)

# 计算莱文斯坦距离（替换成你需要的方法，比如"hamming"、"jaccard"等）
distances <- stringdist(str1_vec, str2_vec, method = "lv")

这个方法彻底避免了跨进程调用的问题，代码也更简洁。

2. 批量处理：一次性把所有任务传给Perl #

如果必须用Perl代码，那尽量减少进程启动次数——把所有需要计算的字符串对整理成一个输入文件，一次调用Perl处理整个文件，而不是循环调用上万次。

R端代码： #

# 生成所有需要计算的字符串对（这里用示例数据，替换成你的实际数据）
string_pairs <- data.frame(
  str1 = sample(letters, 10000, replace = TRUE),
  str2 = sample(letters, 10000, replace = TRUE)
)

# 写入临时TSV文件（用tab分隔，避免字符串含空格的问题）
temp_input <- tempfile(fileext = ".tsv")
write.table(
  string_pairs, temp_input, 
  sep = "\t", row.names = FALSE, col.names = FALSE, quote = FALSE
)

# 一次性调用Perl处理整个文件，用intern=TRUE捕获输出
raw_results <- system(
  paste("perl your_distance_script.pl", temp_input), 
  intern = TRUE
)

# 把结果转成数值型，合并到原数据框
string_pairs$distance <- as.numeric(raw_results)

# 清理临时文件
unlink(temp_input)

Perl端脚本修改（your_distance_script.pl）： #

让脚本支持读取输入文件，逐行处理并输出结果：

#!/usr/bin/perl
use strict;
use warnings;

# 获取输入文件路径（从命令行参数传入）
my $input_file = shift @ARGV or die "请传入输入文件路径";

open my $fh, '<', $input_file or die "无法打开文件 $input_file: $!";
while (my $line = <$fh>) {
  chomp $line;
  # 拆分每行的两个字符串
  my ($str1, $str2) = split /\t/, $line;
  # 调用你的距离计算函数
  my $distance = calculate_your_distance($str1, $str2);
  # 输出结果（每行一个数值）
  print "$distance\n";
}
close $fh;

# 这里替换成你原有的距离计算逻辑
sub calculate_your_distance {
  my ($a, $b) = @_;
  # 示例：计算字符串长度差的绝对值
  return abs(length($a) - length($b));
}

3. 管道通信：保持单个Perl进程持续运行 #

如果你的任务无法批量预处理（比如每一步的输入依赖上一步的输出），可以用R的pipe()函数创建双向管道，只启动一次Perl进程，然后循环发送任务、接收结果，全程复用同一个进程。

R端代码： #

# 创建双向管道，启动Perl进程（注意脚本路径要正确）
perl_conn <- pipe("perl your_piped_script.pl", "r+")

# 初始化结果向量
results <- numeric(10000)

for (i in 1:10000) {
  # 生成当前需要计算的字符串对（替换成你的实际数据）
  str1 <- sample(letters, 1)
  str2 <- sample(letters, 1)
  
  # 把字符串对写入管道（用tab分隔，加换行）
  cat(str1, "\t", str2, "\n", file = perl_conn)
  flush(perl_conn) # 强制刷新缓冲区，确保Perl能立即收到数据
  
  # 读取Perl返回的结果
  results[i] <- as.numeric(readLines(perl_conn, n = 1))
}

# 关闭管道，终止Perl进程
close(perl_conn)

Perl端脚本修改（your_piped_script.pl）： #

让脚本持续从标准输入读取数据，处理后输出结果，注意要开启STDOUT自动刷新，避免R端等待：

#!/usr/bin/perl
use strict;
use warnings;

# 开启STDOUT自动刷新，避免缓冲区堆积
$| = 1;

# 持续读取标准输入的每行数据
while (my $line = <STDIN>) {
  chomp $line;
  my ($str1, $str2) = split /\t/, $line;
  my $distance = calculate_your_distance($str1, $str2);
  # 输出结果，R端会逐行读取
  print "$distance\n";
}

# 替换成你的原有计算逻辑
sub calculate_your_distance {
  my ($a, $b) = @_;
  return abs(length($a) - length($b));
}

为什么原来的方法会报错？ #

macOS对每个进程能打开的文件描述符数量有默认限制（虽然可以调整，但不推荐），每次system()都会启动一个新的Perl进程，哪怕进程很快退出，系统回收文件描述符的速度跟不上你循环创建进程的速度，上万次调用后就会触发"too many open files"错误。上面的方法都是通过减少进程数量（1个或0个）来彻底解决这个问题。

内容的提问来源于stack exchange，提问作者petyar