BASH处理bed文件列计算iScore返回nan问题排查与修正

问题背景 #

需要对制表符分隔的类BED大文件执行以下计算：

• 筛选第6、7列值均在0-1之间的行
• 计算两个总和：
  • a：每行log(1/(第6列*第7列))/log(2)的总和
  • b：每行log(1/((1-第6列)*(1-第7列)))/log(2)的总和
• 最终得到iScore = a/(a+b)

手动执行对应命令能得到正确结果（如0.9842574596），但编写的Bash脚本始终返回iScore="nan"。

样本文件示例（前2行）：

chr1    10000   10150   150 0.506667    0.0503  0.0639
chr1    10002   10144   142 0.507042    0.0308  0.0639

错误原因分析 #

原脚本的核心问题有3个：

1. 分隔符错误：BED文件是制表符分隔，但所有awk命令都用了-F,（逗号分隔），导致无法正确识别第6、7列，筛选结果为空，直接触发nan分支。
2. 大文件处理效率低：把整个筛选后的文件内容存到变量filtered_df，再反复通过管道处理，不仅占用内存，还容易出现格式丢失问题。
3. 数值判断逻辑隐患：用(( ... ))处理浮点数值判断，((仅支持整数运算，会导致判断失效，误判为总和为0。

修正后的脚本 #

#!/bin/bash
dir="$1"

# 遍历目录下所有bed文件
for filename in "$dir"/*.bed; do
    # 提取样本ID
    parts="${filename##*/}"
    sample_id="${parts%%.*}"
    echo "$sample_id"

    # 用awk一次性完成筛选+计算，避免多次IO和变量存储
    awk -v sample="$sample_id" '
    BEGIN {
        FS = "\t"  # 明确指定制表符分隔
        a_sum = 0
        b_sum = 0
    }
    # 筛选条件：第6、7列在0-1之间
    $6 > 0 && $6 < 1 && $7 > 0 && $7 < 1 {
        # 计算当前行的a值并累加
        a = log(1 / ($6 * $7)) / log(2)
        a_sum += a
        # 计算当前行的b值并累加
        b = log(1 / ((1 - $6) * (1 - $7))) / log(2)
        b_sum += b
    }
    END {
        if (a_sum + b_sum > 1e-9) {  # 用极小值避免浮点精度问题
            iScore = a_sum / (a_sum + b_sum)
            printf "iScore: %.10f (%s)\n\n", iScore, sample
        } else {
            printf "iScore: nan (%s)\n\n", sample
        }
    }' "$filename"
done

关键修正点 #

• 修正分隔符：将awk的分隔符改为\t，匹配BED文件的制表符格式，确保正确识别列位置。
• 单进程完成所有计算：不再把文件内容存到变量，而是在一个awk进程内完成筛选、累加、结果计算，大幅提升大文件处理效率，避免格式丢失。
• 优化浮点判断：用a_sum + b_sum > 1e-9替代整数判断逻辑，避免浮点精度误差导致的误判（比如总和极小但不为0的情况）。
• 直接输出结果：在awk的END块中直接格式化输出结果，减少不必要的管道和子进程调用。

内容的提问来源于stack exchange，提问作者Debajyoti Kabiraj