使用awk过滤第四列小于20的行失效问题求助

我是行业新手，有一个4列的文件，需要过滤掉第四列数值小于20的行。使用命令：

awk -F'	' '$4 >= 20' /Users/lukasschrettenbrunner/Documents/3ENDcopy/test.bg >> /Users/lukasschrettenbrunner/Documents/3ENDcopy/filtered.bg

该命令在朋友电脑上能正常过滤所有符合条件的行，但在我的M2芯片MacBook Pro上仅过滤部分行，未完全生效。

原文件头部内容 #

DS499594    6804    6805    6.000000
DS499594    8870    8871    1.000000
DS499594    26983   26984   56.000000
DS499594    27248   27249   6.000000
DS499594    27565   27566   11.000000
DS499594    27667   27668   15.000000
DS499594    27856   27857   19.000000
DS499594    27972   27973   3.000000
DS499594    28030   28031   5.000000
DS499594    28169   28170   8.000000

过滤后文件头部内容 #

DS499594    6804    6805    6.000000
DS499594    26983   26984   56.000000
DS499594    27248   27249   6.000000
DS499594    27972   27973   3.000000
DS499594    28030   28031   5.000000
DS499594    28169   28170   8.000000
DS499594    28298   28299   9.000000
DS499594    28881   28882   4.000000
DS499594    29439   29440   4.000000
DS499594    29646   29647   7.000000

问题原因 #

• 字段分隔符不匹配：你指定了制表符作为分隔符，但M2 Mac默认的BSD awk与朋友电脑的GNU awk对分隔符的处理逻辑不同，或者你的文件实际用的是空格（而非制表符）分隔列。从结果看，大量第四列小于20的行被保留，说明awk没有正确识别第四列，可能误把整行当成单个字段，或者$4指向了错误的内容。
• 追加式重定向干扰：使用>>会把过滤结果追加到目标文件末尾，如果之前filtered.bg已有旧内容，会导致新旧内容混合，看起来像是过滤不彻底。
• awk版本差异：BSD awk（Mac默认）和GNU awk在浮点数比较、字段处理上存在细微差异，虽然你的数据都是.000000结尾的浮点数，但仍可能影响判断。

解决办法 #

1. 修正字段分隔符：如果文件是空格分隔（包括多个连续空格），无需指定固定分隔符，让awk自动处理连续空白：

   awk '$4 >= 20' /Users/lukasschrettenbrunner/Documents/3ENDcopy/test.bg > /Users/lukasschrettenbrunner/Documents/3ENDcopy/filtered.bg
   

   或者明确指定分隔符为任意空白字符：

   awk -F'[[:space:]]+' '$4 >= 20' /Users/lukasschrettenbrunner/Documents/3ENDcopy/test.bg > /Users/lukasschrettenbrunner/Documents/3ENDcopy/filtered.bg
   

2. 覆盖目标文件：用>代替>>，确保每次过滤生成全新的结果，避免旧内容干扰。
3. 验证字段识别：先执行以下命令，确认awk是否正确读取第四列：

   awk '{print $4}' /Users/lukasschrettenbrunner/Documents/3ENDcopy/test.bg | head
   

   如果输出不是预期的第四列数值，说明分隔符确实是问题所在。
4. 切换到GNU awk：如果需要和朋友的环境保持一致，可以通过Homebrew安装GNU awk：

   brew install gawk
   

   之后用gawk替换命令中的awk即可：

   gawk -F'	' '$4 >= 20' /Users/lukasschrettenbrunner/Documents/3ENDcopy/test.bg > /Users/lukasschrettenbrunner/Documents/3ENDcopy/filtered.bg
   

内容的提问来源于stack exchange，提问作者Lukas Schrettenbrunner