如何使用Perl不逐行遍历分割1.8TB级超大文本文件

你原来使用的逐行判断行号的方案需要遍历全文件，IO效率极低，不适合TB级文件处理。可以通过文件指针偏移定位的方式跳过前半段内容，仅需做一次边界换行匹配即可完成切割，不需要逐行遍历全文件。

实现逻辑 #

• 首先获取目标文件的总字节数，计算出半份文件的初始偏移位置
• 把文件指针移动到初始偏移位置，向后查找第一个\n作为切割起点，避免单行被截断
• 从切割起点开始按固定块（比如1MB/10MB大小，可根据磁盘性能调整）读取内容直接写入输出文件，全程不需要逐行判断

完整实现代码 #

#!/usr/bin/perl
use strict;
use warnings;

my $input_file = 'test.txt';
my $output_file = 'result.txt';
my $block_size = 10 * 1024 * 1024; # 10MB 读写块，可自行调整

# 获取文件总大小
my $file_size = -s $input_file or die "无法读取文件大小: $!";
my $start_offset = int($file_size / 2);

open my $in_fh, '<:raw', $input_file or die "打开输入文件失败: $!";
open my $out_fh, '>:raw', $output_file or die "打开输出文件失败: $!";

# 定位到初始偏移位置
sysseek($in_fh, $start_offset, 0) or die "定位文件指针失败: $!";

# 向后查找第一个换行符
my $buf;
my $found_newline = 0;
while (sysread($in_fh, $buf, $block_size)) {
    my $newline_pos = index($buf, "\n");
    if ($newline_pos != -1) {
        # 找到换行，把换行后的内容写入，然后直接拷贝剩余全部内容
        syswrite($out_fh, substr($buf, $newline_pos + 1)) if $newline_pos +1 < length($buf);
        $found_newline = 1;
        last;
    }
}
die "未找到换行符，文件格式不符合要求" unless $found_newline;

# 直接拷贝剩余所有内容，不需要逐行处理
while (sysread($in_fh, $buf, $block_size)) {
    syswrite($out_fh, $buf);
}

close $in_fh;
close $out_fh;

性能说明 #

该方案的耗时基本等于磁盘读写1.8TB文件的物理耗时，不会额外增加逐行判断的CPU开销，比原逐行方案效率提升10~100倍，完全可以处理TB级文件。

如果你的需求是按指定行号切割而非对半切，也可以修改为按大块读取统计换行符数量，找到目标行号的偏移后再拷贝剩余内容，同样不需要逐行遍历全文件。

内容的提问来源于stack exchange，提问作者Aditya