Perl开发中如何避免向文件写入已存在的行以消除内容重复

核心逻辑是利用哈希表键唯一的特性做O(1)复杂度的重复判断，避免重复行写入，你提供的参考代码修改后如下：

# 打开文件，增加错误检查，使用词法文件句柄和三参数open（更安全的Perl写法）
open my $out_fh, '>', 'newfile' or die "打开文件失败: $!";
my %seen; # 用于存储已写入的行，作为判重依据

for (my $a = 1; $a < 20; $a++) {
    my $random_number = 1 + int rand(10);
    my $write_line = "Random number is $random_number \n";
    # 仅当行不存在时执行写入
    unless (exists $seen{$write_line}) {
        print $out_fh $write_line;
        $seen{$write_line} = 1; # 写入后标记为已存在，避免后续重复
    }
}

close $out_fh;

补充说明 #

• 如果你需要往已存在的旧文件追加内容，同时避免和旧文件已有行重复，可以先读取旧文件的所有行存入%seen哈希，再用追加模式打开文件写入新内容，示例逻辑如下：

  my %seen;
  # 先读取已有文件的内容存入哈希
  if (-e 'newfile') {
      open my $in_fh, '<', 'newfile' or die "读取旧文件失败: $!";
      while (my $line = <$in_fh>) {
          $seen{$line} = 1;
      }
      close $in_fh;
  }
  # 以追加模式打开文件
  open my $out_fh, '>>', 'newfile' or die "打开文件追加失败: $!";
  # 后续生成行、判重、写入的逻辑和上面一致
  for (my $a = 1; $a < 20; $a++) {
      my $random_number = 1 + int rand(10);
      my $write_line = "Random number is $random_number \n";
      unless (exists $seen{$write_line}) {
          print $out_fh $write_line;
          $seen{$write_line} = 1;
      }
  }
  close $out_fh;
  

• 用哈希判重的性能远高于每次写入前遍历文件查询，尤其适合文件内容较多的场景。

内容的提问来源于stack exchange，提问作者shan