技术求助：用awk处理sam开头列、提取冒号前内容及唯一值

1. 提取以"sam"开头列中第一个冒号前的内容 #

问题分析 #

你原有的AWK代码存在两个关键问题：

• 循环语句后多了分号;，导致循环体为空，仅执行变量递减，最终只处理了最后一个循环变量对应的列
• 没有保留非"sam"开头的列，也未正确拼接所有列的输出

解决方案 #

通过先识别表头中"sam"开头的列索引，再对这些列进行内容截取，直接修改后输出整行：

BEGIN { FS=OFS="\t" }
# 处理表头，记录sam开头的列位置
NR==1 {
    for (i=1; i<=NF; i++) {
        if ($i ~ /^sam/) sam_cols[i] = 1
    }
    print $0
    next
}
# 处理数据行，截取sam列的内容
{
    for (i=1; i<=NF; i++) {
        if (i in sam_cols) {
            # 用sub替换掉冒号及后面的所有内容
            sub(/:.*/, "", $i)
        }
    }
    print $0
}

执行命令：

awk -f script.awk input > output

该方案无需硬编码列数，自动适配任意数量的"sam"开头列，且用sub比split更简洁高效。

2. 提取sam列的唯一值 #

解决方案 #

基于处理后的输出文件，用AWK数组存储唯一值，最后遍历输出：

BEGIN { FS=OFS="\t" }
# 识别sam列位置
NR==1 {
    for (i=1; i<=NF; i++) {
        if ($i ~ /^sam/) sam_cols[i] = 1
    }
    next
}
# 收集所有sam列的值到唯一数组
{
    for (i=1; i<=NF; i++) {
        if (i in sam_cols) {
            unique[$i] = 1
        }
    }
}
# 输出所有唯一值
END {
    for (val in unique) {
        print val
    }
}

执行命令：

awk -f unique_script.awk output > unique_values.txt

合并两步操作（可选） #

若想一次性处理原始文件，同时得到处理后的输出和唯一值，可使用以下脚本：

BEGIN { FS=OFS="\t" }
NR==1 {
    for (i=1; i<=NF; i++) {
        if ($i ~ /^sam/) sam_cols[i] = 1
    }
    print $0 > "processed_output.txt"
    next
}
{
    line = ""
    for (i=1; i<=NF; i++) {
        if (!(i in sam_cols)) {
            line = line (line ? OFS : "") $i
        } else {
            sub(/:.*/, "", $i)
            line = line (line ? OFS : "") $i
            unique[$i] = 1
        }
    }
    print line > "processed_output.txt"
}
END {
    for (v in unique) {
        print v > "unique_values.txt"
    }
}

内容的提问来源于stack exchange，提问作者lecb