如何在Bash/R中提取大表匹配行内符合前缀规则的列及对应列号

无需安装额外依赖，内存占用极低，可处理TB级大文件，默认列号从1开始计数。

场景1：逐行输出每行中匹配前缀的列号和对应值 #

默认分隔符为制表符，如需修改为逗号可替换-F '\t'为-F ','，将prefix变量替换为你需要匹配的目标前缀即可：

awk -F '\t' -v prefix="你的目标前缀" '{
    printf "===== 行号：%d =====\n", NR
    for(i=1; i<=NF; i++){
        # 前缀匹配规则，如需忽略大小写可添加参数 -v IGNORECASE=1
        if($i ~ "^" prefix){
            printf "第%d列：%s\n", i, $i
        }
    }
}' 你grep输出的结果文件路径

场景2：全局统计所有符合要求的列，批量提取这些列的全部内容 #

如果需要先找到所有存在值匹配前缀的列，再统一提取这些列的全部数据，可以用以下命令：

# 第一步：收集所有符合要求的列号并去重排序
awk -F '\t' -v prefix="你的目标前缀" '{
    for(i=1; i<=NF; i++){
        if($i ~ "^" prefix && !(i in target_cols)){
            target_cols[i] = 1
        }
    }
} END {
    for(col in target_cols) print col
}' 你grep输出的结果文件路径 | sort -n > target_cols.txt

# 输出匹配到的列号清单
echo "匹配的目标列序号如下："
cat target_cols.txt

# 第二步：批量提取这些列的内容并输出到结果文件
cut -f $(paste -sd ',' target_cols.txt) 你grep输出的结果文件路径 > 提取后的结果文件.tsv

使用高性能的data.table包处理大文件，效率远高于基础R函数：

# 安装依赖（首次使用执行）
install.packages("data.table")
library(data.table)

# 读入文件，sep指定分隔符，\t为制表符，,为csv
dt <- fread("你grep输出的结果文件路径", sep = "\t", header = FALSE)
prefix <- "你的目标前缀"

# 查找所有存在值匹配前缀的列号（从1开始计数）
target_cols <- which(apply(dt, 2, function(x) any(startsWith(x, prefix))))
print("匹配的目标列序号：")
print(target_cols)

# 提取目标列并写出
result <- dt[, ..target_cols]
fwrite(result, "提取后的结果文件.tsv", sep = "\t")

如果需要后续做更复杂的字段处理，可使用pandas实现，代码逻辑更易读：

import pandas as pd

# 读入文件，sep指定分隔符
df = pd.read_csv("你grep输出的结果文件路径", sep="\t", header=None, dtype=str)
prefix = "你的目标前缀"

# 查找匹配列号
target_cols = [col for col in df.columns if df[col].str.startswith(prefix).any()]
print("匹配的目标列序号：", [x+1 for x in target_cols]) # 转为从1开始计数

# 提取并保存
df[target_cols].to_csv("提取后的结果文件.tsv", sep="\t", index=False, header=False)

内容的提问来源于stack exchange，提问作者Sammy