Perl脚本筛选ID对时过度循环导致重复输出如何解决？

错误原因 #

你的代码出现重复输出是两层循环嵌套错误导致的：外层循环遍历了*$file_list*的每一行，每遍历一行就会全量跑一次ID对匹配逻辑，最终正确的匹配结果会被重复输出N次（N为列表文件的行数），和你实际得到的输出现象完全一致。

优化后代码 #

同时为了提升查询效率，推荐用哈希表存储允许的ID，避免每次匹配都遍历整个列表数组，修改后代码如下：

use strict;
use warnings;

my $file_in = "gold_standards.txt";
my $file_list = "list.txt";

# 先读取允许的ID存入哈希表，实现O(1)快速查询
my %allowed_ids;
open (PEW, "<", $file_list) || die "无法打开列表文件: $!";
while (my $id = <PEW>) {
    chomp $id;
    $allowed_ids{$id} = 1;
}
close PEW;

# 仅遍历一次ID对文件即可完成筛选
open (HAN, "<", $file_in) || die "无法打开输入文件: $!";
while (my $line = <HAN>) {
    chomp $line;
    # 如果你的ID对是空格分隔而非制表符，把/\t/改成/\s+/即可
    my ($id_protein1, $id_protein2) = split /\t/, $line, 2;
    # 直接查哈希表判断两个ID是否都在允许列表中
    if (exists $allowed_ids{$id_protein1} && exists $allowed_ids{$id_protein2}) {
        print "$line\n";
    }
}
close HAN;

修改说明 #

• 移除了错误嵌套的外层列表遍历循环，ID对文件仅需要遍历一次
• 用哈希表替代any遍历数组做存在性判断，数据量越大性能提升越明显
• 补充了strict和warnings编译指令，以及die的错误信息输出，便于后续排查问题

内容的提问来源于stack exchange，提问作者Gabelins