使用Awk提取文件中匹配字符串的前后指定字符

我来帮你解决这个效率问题！你用循环调用grep的方式确实会慢到让人崩溃——毕竟每次循环都要重新读一遍20万字符的大文件，4000次下来光IO开销就够吓人的。咱们换个思路，用Perl一次性把大文件读进内存，批量处理所有模式，速度会快很多，而且代码逻辑也容易懂。

解决方案：Perl脚本一次性处理 #

下面这个脚本会完成你需要的所有操作：一次性读取seq.txt，批量处理search.txt里的所有模式，输出制表符分隔的结果（前100字符\t匹配模式\t后100字符），还会自动处理模式在文件开头/结尾的边界情况。

#!/usr/bin/perl
use strict;
use warnings;

# 检查输入参数是否正确
die "用法：$0 <seq.txt> <search.txt>\n" unless @ARGV == 2;

my ($seq_file, $search_file) = @ARGV;

# 一次性读取整个seq文件到内存（关键！避免重复IO）
open my $seq_fh, '<', $seq_file or die "打不开$seq_file: $!";
local $/;  # 取消换行符限制，直接读整个文件
my $full_seq = <$seq_fh>;
close $seq_fh;

# 读取所有搜索模式到数组
open my $search_fh, '<', $search_file or die "打不开$search_file: $!";
my @patterns = <$search_fh>;
close $search_fh;

# 逐个处理每个模式
foreach my $pattern (@patterns) {
    chomp $pattern;  # 去掉模式末尾的换行符
    next if length($pattern) == 0;  # 跳过空行

    # 查找模式在大字符串中的起始位置（题目说每个模式仅匹配一次，所以直接取第一个结果）
    my $match_pos = index($full_seq, $pattern);
    if ($match_pos == -1) {
        warn "模式'$pattern'在$seq_file中未找到\n";
        next;
    }

    # 提取模式前的最多100个字符
    my $pre_start = ($match_pos >= 100) ? $match_pos - 100 : 0;
    my $pre_context = substr($full_seq, $pre_start, $match_pos - $pre_start);

    # 提取模式后的最多100个字符
    my $post_start = $match_pos + length($pattern);
    my $post_context = substr($full_seq, $post_start, 100);

    # 输出制表符分隔的结果
    print join("\t", $pre_context, $pattern, $post_context), "\n";
}

脚本运行步骤 #

1. 把上面的代码复制保存为extract_context.pl
2. 给脚本添加执行权限：chmod +x extract_context.pl
3. 运行脚本生成结果文件：

   ./extract_context.pl seq.txt search.txt > output.tsv
   

为什么这个脚本更快？ #

• 一次性读取大文件：原来的grep循环每次都要重新加载seq.txt，这个脚本只读一次，所有操作都在内存中完成，IO开销直接降到最低。
• 高效的字符串查找：Perl的index函数在大字符串中查找子串的效率非常高，比多次调用外部grep命令快得多。
• 批量处理模式：一次性读取所有模式，避免了循环调用外部命令的额外开销。

边界情况处理 #

• 如果模式在文件开头（前面不足100字符）：会自动取从文件开头到模式前的所有字符。
• 如果模式在文件结尾（后面不足100字符）：会自动取从模式结束到文件末尾的所有字符。
• 如果某个模式未找到：会输出警告信息，但不会中断其他模式的处理。

内容的提问来源于stack exchange，提问作者geri