使用awk遍历目录大文件，按指定列值筛选行的技术求助

单文件单值处理命令 #

针对单个文本文件和单个目标值，用以下awk命令即可完成筛选，流式处理无需加载整个文件到内存，适配大文件场景：

awk -v target="a123" -F "\t" '
NR==1 {
    # 扫描表头，记录COL_ABC和COL_DEF的列索引
    for(i=1; i<=NF; i++) {
        if($i == "COL_ABC") abc_col = i;
        if($i == "COL_DEF") def_col = i;
    }
    print $0;  # 输出表头到结果文件
    next;
}
{
    # 根据列存在情况执行筛选逻辑
    if(abc_col && def_col) {
        if($abc_col == target || $def_col == target) print $0;
    } else if(abc_col) {
        if($abc_col == target) print $0;
    }
}' 输入文件名.txt > 输出文件名_a123.txt

批量处理脚本 #

如果要一次性处理所有15个文件和5个目标值，将以下内容保存为filter.sh，执行chmod +x filter.sh后运行即可：

# 定义需要匹配的目标值列表
targets=("a123" "b234" "c345" "d456" "e567")

# 遍历当前目录下的所有文本文件（可根据实际修改匹配规则，比如*.tsv）
for file in *.txt; do
    # 遍历每个目标值
    for t in "${targets[@]}"; do
        # 生成输出文件名：原文件名_目标值.txt
        output="${file%.txt}_${t}.txt"
        # 执行筛选逻辑
        awk -v target="$t" -F "\t" '
        NR==1 {
            for(i=1; i<=NF; i++) {
                if($i == "COL_ABC") abc_col = i;
                if($i == "COL_DEF") def_col = i;
            }
            print $0;
            next;
        }
        {
            if(abc_col && def_col) {
                if($abc_col == target || $def_col == target) print $0;
            } else if(abc_col) {
                if($abc_col == target) print $0;
            }
        }' "$file" > "$output"
        echo "已完成：$file -> $output"
    done
done

关键说明 #

• 流式处理：awk逐行读取文件，不会占用大量内存，完美适配1.5-2GB的大文件
• 列索引自动识别：通过表头自动定位COL_ABC和COL_DEF的位置，无需手动指定列号
• 灵活筛选逻辑：自动判断文件中存在的列，执行对应的筛选规则
• 输出命名规则：每个筛选结果以原文件名_目标值.txt命名，清晰区分不同结果

注意事项 #

• 如果你的文件不是制表符分隔，修改-F "\t"为实际分隔符（比如逗号分隔就用-F ","）
• 如果文件扩展名不是.txt，调整脚本中的*.txt为对应扩展名（比如*.tsv）
• 若某个文件既没有COL_ABC也没有COL_DEF，结果文件仅包含表头，无数据行

内容的提问来源于stack exchange，提问作者grapeporcupine