如何删除TSV文件中第n次匹配指定模式的行及后续所有行

针对20000行的TSV文件，以下是几种高效实现需求的方法：

方法1：awk（推荐，高效处理大文件） #

awk是处理文本文件的利器，尤其适合大文件场景，无需加载全部内容到内存。假设你要匹配第3列的字符串"target"，执行以下命令：

awk 'BEGIN{FS="\t"} count<2{print; if($3=="target") count++}' input.tsv > output.tsv

说明： #

• BEGIN{FS="\t"}：设置字段分隔符为制表符，适配TSV格式。
• count<2{print; ...}：当匹配次数小于2时，打印当前行。
• if($3=="target") count++：如果第3列等于目标字符串，匹配次数加1；当count达到2时，后续行不再打印。

如果你的目标列不是第3列，直接修改$3为对应的列号（比如第5列就写$5）。

方法2：Python脚本（灵活定制逻辑） #

如果需要更复杂的判断逻辑，或者对Python更熟悉，可以用脚本实现，处理2万行完全无压力：

import csv

# 配置参数
INPUT_PATH = "input.tsv"
OUTPUT_PATH = "output.tsv"
TARGET_COL_INDEX = 2  # 注意：Python是0索引，第3列对应索引2
TARGET_STRING = "target"

match_counter = 0

with open(INPUT_PATH, 'r', newline='', encoding='utf-8') as infile, \
     open(OUTPUT_PATH, 'w', newline='', encoding='utf-8') as outfile:
    tsv_reader = csv.reader(infile, delimiter='\t')
    tsv_writer = csv.writer(outfile, delimiter='\t')
    
    for row in tsv_reader:
        if match_counter >= 2:
            break
        tsv_writer.writerow(row)
        # 检查当前行指定列是否匹配目标字符串
        if row[TARGET_COL_INDEX] == TARGET_STRING:
            match_counter += 1

说明： #

• 逐行读取文件，避免占用过多内存。
• 匹配次数达到2时立即跳出循环，停止写入后续内容。
• 可根据需求修改编码、列索引或匹配逻辑。

方法3：sed（适合简单场景） #

通过先定位第二次匹配的行号，再截断文件：

# 获取第二次匹配目标字符串的行号（假设目标列是第3列，前后为制表符）
match_line=$(grep -n -F $'\t'target$'\t' input.tsv | sed -n '2p' | cut -d: -f1)
# 截取到目标行的前一行（删除目标行及之后内容）
sed "${match_line}q" input.tsv > output.tsv

注意： #

• 如果目标列是最后一列，需要调整grep的匹配模式为$'\t'target$，确保匹配整列内容。
• 若文件中目标字符串出现不足2次，该命令会保留全部内容。

内容的提问来源于stack exchange，提问作者sgkion