如何提取CSV文件特定字段子串生成新文件？awk首行异常如何解决？

最核心的原因是源CSV文件开头带有UTF-8 BOM（字节顺序标记）：
Windows系统下导出/保存的UTF-8编码CSV经常会在文件最开头插入3个不可见的BOM字节（0xEF 0xBB 0xBF），awk处理时会把这3个字节识别为第一行第一个字段的前3个字符。你调用substr($1,1,3)时，第一行取到的是这三个不可见的BOM字符而非G11，输出时不可见，因此看起来第一行第一个字段为空，出现,AMIT,INDIA的异常结果。
少数情况也可能是第一行开头存在额外的不可见空白字符（如前置空格、制表符等），本质和BOM问题一致，都是第一行第一个字段的前N个字符是非预期的不可见内容。

执行以下命令查看第一行第一个字段的长度，正常G11123长度为5，如果输出为8，即可确认存在3字节的BOM：

head -n1 file.csv | awk -F, '{print length($1)}'

方法1：先清理BOM再处理 #

用sed先移除第一行开头的BOM，再执行原有逻辑：

sed '1s/^\xEF\xBB\xBF//' file.csv | awk 'BEGIN{FS=OFS=","} {print substr($1,1,3),$3,$4}' > temp.csv

方法2：修改awk命令兼容BOM场景 #

调整awk逻辑，判断提取的前3个字符存在不可见字符时，偏移3位再取子串：

awk 'BEGIN{FS=OFS=","} {key=substr($1,1,3); if(key ~ /[^[:print:]]/) key=substr($1,4,3); print key,$3,$4}' file.csv > temp.csv

内容的提问来源于stack exchange，提问作者Manish