awk处理科学计数法数值 按列分组筛选目标行问题咨询

数值比较异常的核心原因是部分环境默认的awk（多为mawk、旧版本POSIX awk）不会自动将科学计数法格式的字符串识别为浮点数，比较时默认按字符串字典序判断大小：例如字符串"4.5E-7"首字符为'4'，"0.085"首字符为'0'，字典序规则下'4' > '0'，就会误判4.5E-7数值大于0.085，和实际数值逻辑完全不符。

方案1：使用GNU awk（gawk，推荐，生信分析环境普遍预装） #

gawk原生支持科学计数法数值的自动解析，只要在比较时强制将第5列转为数值类型即可，不需要提前做排序、去重操作，单awk命令就能完成全流程。

筛选每个ID对应$5最大值的行 #

执行以下命令即可得到预期中0.085对应的行：

gawk -F'\t' '
# 全行去重，替代原命令的sort|uniq，执行效率更高
!seen[$0]++ {
    # 每个ID第一次出现直接记录，后续同ID行做数值比较替换
    if (!($1 in max_val) || $5 + 0 > max_val[$1]) {
        max_val[$1] = $5 + 0
        keep[$1] = $0
    }
}
END {
    # 遍历所有ID输出保留的结果行
    for (id in keep) print keep[id]
}
' your_file

代码中$5 + 0的作用是强制触发类型转换，让gawk把第5列内容按数值解析，不管是普通小数还是科学计数法格式，都会转成对应的浮点值参与比较。

筛选每个ID对应$5最小值的行 #

只需要把比较符从>换成<即可，测试数据下会正确输出3.9E-21对应的预期行：

gawk -F'\t' '
!seen[$0]++ {
    if (!($1 in min_val) || $5 + 0 < min_val[$1]) {
        min_val[$1] = $5 + 0
        keep[$1] = $0
    }
}
END {
    for (id in keep) print keep[id]
}
' your_file

方案2：无gawk环境兼容写法（依赖GNU sort） #

如果环境没有预装gawk，可以用sort的通用数值排序参数-g实现，该参数原生支持科学计数法的数值排序：

取每个ID下$5最大的行 #

# 先按第1列ID分组，同ID下按第5列数值从大到小排序，再用awk去重保留每个ID的第一行
sort -t $'\t' -k1,1 -k5,5gr your_file | awk -F'\t' '!seen[$1]++'

取每个ID下$5最小的行 #

去掉排序的逆序参数r即可：

sort -t $'\t' -k1,1 -k5,5g your_file | awk -F'\t' '!seen[$1]++'

• 执行前先确认输入文件的列分隔符：如果是多空格分隔而不是制表符，把-F'\t'替换为-F'[[:space:]]+'即可，避免列取值错位。
• 原命令中cat file | sort | uniq属于冗余写法：sort支持直接读取文件，不需要cat传递输入；且uniq仅能去除连续重复行，用awk的!seen[$0]++去重不需要提前排序，执行效率更高。

内容的提问来源于stack exchange，提问作者Caroline Juery