bash循环中gawk未处理CSV文件表头问题求助

问题场景 #

我有一个带表头的CSV文件，每行预期包含14个字段。我想用gawk脚本校验每行的字段数，将符合条件的行写入good_file.csv，其余写入bad_file.csv，但发现表头行（已确认字段数为14）未输出至任一文件。

原执行代码：

while read -r line; 
do
   gawk -k '{if (NF==14) print $0 > "good_file.csv";     \
             else print "["NR"]", "["NF"]", $0 > "bad_file.csv"}';
done < hd.csv

CSV输入示例（hd.csv）：

test_id,vehicle_id,test_date,test_class_id,test_type,test_result,test_mileage,postcode_area,make,model,colour,fuel_type,cylinder_capacity,first_use_date
1645480751,1374211238,2016-01-01,4,NT,P,117033,SM,VOLKSWAGEN,POLO,BLACK,PE,1600,2000-06-23
1393462389,1153769898,2016-01-01,4,NT,P,99292,NE,VOLKSWAGEN,PASSAT,BLUE,DI,1968,2006-11-30
1863202023,1485039300,2016-01-01,7,NT,PRS,170320,E,MERCEDES,SPRINTER 313 CDI LWB,WHITE,DI,2148,2005-01-14
1304292863,1097073904,2016-01-01,4,RT,P,70623,NN,MINI,MINI,GREY,PE,1598,2004-04-08
845810407,1166548800,2016-01-01,4,NT,P,21567,DL,NISSAN,JUKE,BLUE,PE,1612,2011-07-07

已通过gawk -k '{print NF, $0}' hd.csv确认表头行字段数为14，但表头始终未出现在输出文件中。

原因分析 #

核心问题出在**while read循环配合多次调用gawk的写法**：

1. 每次循环都会启动一个全新的gawk进程，处理单独一行数据。
2. 在awk中，使用> "文件名"进行输出时，默认是截断模式——每次打开文件都会清空之前的内容。
3. 当处理表头行时，gawk会将其写入good_file.csv，但处理下一行（符合条件的数据行）时，新启动的gawk进程会再次打开good_file.csv，直接清空文件内容并写入当前行，导致之前写入的表头被完全覆盖。
4. 最终good_file.csv中只会保留最后一行符合条件的数据，表头则被多次覆盖后彻底丢失。

另外，这种逐行调用gawk的写法效率极低，完全违背了awk处理文本文件的设计初衷。

解决方案 #

直接让gawk一次性处理整个CSV文件，避免多次启动进程和文件截断问题：

gawk -k '
    NR == 1 { print $0 > "good_file.csv"; next }  # 单独处理表头，直接写入good文件
    NF == 14 { print $0 > "good_file.csv" }
    NF != 14 { print "["NR"]", "["NF"]", $0 > "bad_file.csv" }
' hd.csv

优化说明： #

• 去掉了冗余的while read循环，让gawk直接读取整个文件，效率大幅提升。
• awk会自动管理文件句柄，第一次打开good_file.csv和bad_file.csv后会保持打开状态，不会重复截断文件。
• 显式处理表头行（NR == 1），确保表头被写入good_file.csv（如果不需要表头，可删除这一行）。
• 如果希望表头不写入任何文件，只需移除NR == 1的处理分支即可：

  gawk -k '
      NR == 1 { next }  # 跳过表头行，不输出到任何文件
      NF == 14 { print $0 > "good_file.csv" }
      NF != 14 { print "["NR"]", "["NF"]", $0 > "bad_file.csv" }
  ' hd.csv
  

内容的提问来源于stack exchange，提问作者Mike_W