如何从大型TSV文件中提取含指定非零key-value的行

针对你需要从TSV第8列的key:value对中筛选目标字段值大于0的行，以下提供两种高效实现方式：

方法一：Python + Pandas（适合中等规模文件） #

如果文件能被内存容纳，可直接解析第8列并执行筛选：

import pandas as pd

# 读取TSV文件
df = pd.read_csv("your_file.tsv", sep="\t", header=0)

# 解析第8列的key:value对为字典
def parse_info(info_str):
    kv_pairs = info_str.split(";")
    return {k: float(v) for k, v in (pair.split(":") for pair in kv_pairs if ":" in pair)}

# 将解析后的字典展开为独立列，合并到原数据
info_df = df.iloc[:,7].apply(parse_info).apply(pd.Series)
df = pd.concat([df, info_df], axis=1)

# 执行筛选逻辑
filtered_df = df[
    (df['AN_NEA'] > 0) | (df['AC_NEA'] > 0) | (df['HOM_NEA'] > 0) | (df['AF_NEA'] > 0) |
    (df['AN_SEA'] > 0) | (df['AC_SEA'] > 0) | (df['HOM_SEA'] > 0) | (df['AF_SEA'] > 0)
]

# 保存筛选结果
filtered_df.to_csv("filtered_result.tsv", sep="\t", index=False)

如果是超大型文件，用分块读取避免内存溢出：

chunk_size = 100000
filtered_chunks = []

for chunk in pd.read_csv("your_file.tsv", sep="\t", header=0, chunksize=chunk_size):
    info_df = chunk.iloc[:,7].apply(parse_info).apply(pd.Series)
    chunk = pd.concat([chunk, info_df], axis=1)
    filtered_chunk = chunk[
        (chunk['AN_NEA'] > 0) | (chunk['AC_NEA'] > 0) | (chunk['HOM_NEA'] > 0) | (chunk['AF_NEA'] > 0) |
        (chunk['AN_SEA'] > 0) | (chunk['AC_SEA'] > 0) | (chunk['HOM_SEA'] > 0) | (chunk['AF_SEA'] > 0)
    ]
    filtered_chunks.append(filtered_chunk)

# 合并分块结果并保存
filtered_df = pd.concat(filtered_chunks)
filtered_df.to_csv("filtered_result.tsv", sep="\t", index=False)

方法二：Awk命令行工具（适合超大型文件，内存友好） #

无需加载整个文件，逐行处理，运行效率更高：

BEGIN {
    FS="\t"  # 设置TSV分隔符
    OFS="\t"
    # 定义需要检查的目标字段集合
    target_fields["AN_NEA"]=1
    target_fields["AC_NEA"]=1
    target_fields["HOM_NEA"]=1
    target_fields["AF_NEA"]=1
    target_fields["AN_SEA"]=1
    target_fields["AC_SEA"]=1
    target_fields["HOM_SEA"]=1
    target_fields["AF_SEA"]=1
}

# 处理每一行数据
{
    split($8, kv_pairs, ";")  # 分割第8列的key:value对
    match_flag = 0
    for (i in kv_pairs) {
        split(kv_pairs[i], kv, ":")
        key = kv[1]
        value = kv[2]
        # 检查是否为目标字段且值大于0
        if (target_fields[key] && value > 0) {
            match_flag = 1
            break
        }
    }
    if (match_flag) {
        print $0  # 输出满足条件的整行
    }
}

将上述代码保存为filter.awk，执行命令：

awk -f filter.awk your_file.tsv > filtered_result.tsv

内容的提问来源于stack exchange，提问作者Luffy