bash/awk过滤FILEDIGITS.txt第二列数值未生效问题排查

你的脚本过滤失效是两个问题导致的：

1. awk语法逻辑错误：awk的工作模式是判断条件{执行动作}，只有满足判断条件的行才会执行对应动作。你写的{$2 == var }是一个没有绑定任何动作的孤立判断，后面的{print $0}没有前置判断条件，等于对文件里的每一行都无条件执行打印，这就是输出文件和原文件完全一致的核心原因。
2. 实现逻辑冗余低效：外层套shell循环、每次循环全量扫描一遍原文件的写法会产生大量重复IO，文件体积大时执行速度会极慢，这类数值过滤场景完全不需要依赖shell循环，awk本身就可以独立完成。

推荐直接用awk单次扫描文件完成过滤，性能远高于循环写法，根据你的需求二选一即可：

• 匹配原逻辑：筛选第二列等于66979300、66979400……66982300（步长100的离散值）的行

awk 'BEGIN{
    FS=OFS="\t"
    range_start = 66979300
    range_end = 66982300
    step = 100
}
$2 >= range_start && $2 <= range_end && ($2 - range_start) % step == 0 {
    print $0
}' FILEDIGITS.txt > FILTERED.txt

• 如果需求是筛选第二列落在[66979300, 66982300]连续区间内的所有行（不限制步长）

awk 'BEGIN{FS=OFS="\t"} $2 >= 66979300 && $2 <= 66982300 {print $0}' FILEDIGITS.txt > FILTERED.txt

如果出于特殊原因必须保留shell循环结构，只需要把判断条件和打印动作绑定即可，注意执行前先清空结果文件，避免历史内容残留：

# 先清空结果文件
> FILTERED.txt
for i in $(seq -f '%0.f' 66979300 100 66982300); do
    awk -v var="$i" 'BEGIN{FS=OFS="\t"} $2 == var {print $0}' FILEDIGITS.txt >> FILTERED.txt
done

注意：shell循环写法的执行效率比单awk写法低几个数量级，非必要不要使用。

内容的提问来源于stack exchange，提问作者Kaitsja