处理超大TXT文件时如何捕获AWK报错对应的记录行号？

问题场景 #

处理超大TXT文件时，现有KSH脚本通过while read循环逐行调用AWK处理，虽已将AWK的标准错误捕获到自定义文件，但无法定位报错对应的具体输入行号，同时逐行调用AWK的方式对超大文件来说效率极低，需一并解决这两个问题。

原脚本 #

#!/bin/ksh  

while read -r line
do
    awk ' BEGIN {FS= ","} 
    $2 ~ /[mM]/  {     
        if  ($12 ~ /[1-9]+/ )
        {
            SECNext=$13
            if ( SECNext != SECPrev )
            {
                SECPrev=SECNext
                $3=substr($3,5,4)"-"substr($3,1,2)"-"substr($3,3,2)  
            }
            else
            {
                printf ("%s	 Same SEC Occured\n",$0) >>$var1$var2
            }
        }
        else
        {
            printf ("%s	 No SEC  for this term\n",$0) >>$var1$var2
        }
    }
    ' 2>>$var1$var3
done<$tmp_file>$dir$file".dat"

rc="$?"

解决方案 #

核心思路 #

1. 抛弃while read逐行调用AWK的方式，让AWK直接读取整个文件，既大幅提升超大文件的处理效率，又能利用AWK内置的NR变量直接获取当前处理的行号。
2. 通过AWK的-v参数传递KSH中的变量，避免变量解析冲突。
3. 在日志、错误输出中带上NR（行号），实现精准定位。

修改后的脚本 #

#!/bin/ksh

# 用-v参数传递外部变量，让AWK直接处理整个文件
awk -v var1="$var1" -v var2="$var2" -v var3="$var3" '
BEGIN {
    FS = ","
}
$2 ~ /[mM]/ {
    current_line = NR
    if ($12 ~ /[1-9]+/) {
        SECNext = $13
        if (SECNext != SECPrev) {
            SECPrev = SECNext
            $3 = substr($3,5,4)"-"substr($3,1,2)"-"substr($3,3,2)
            print $0
        } else {
            # 输出重复SEC日志，带上行号
            printf("行号:%d | %s	 Same SEC Occured\n", current_line, $0) >> var1 var2
        }
    } else {
        # 输出无SEC日志，带上行号
        printf("行号:%d | %s	 No SEC for this term\n", current_line, $0) >> var1 var2
    }
}
# 捕获AWK运行时错误，输出行号和错误信息
{
    if (ERRNO) {
        printf("行号:%d | AWK错误: %s\n", NR, ERRNO) >> var1 var3
        ERRNO = "" # 重置错误标记
    }
}
' "$tmp_file" > "$dir$file.dat" 2>> "$var1$var3"

rc="$?"

关键说明 #

• 行号定位：利用AWK内置变量NR自动记录当前处理的文件行号，在日志和错误信息中带上该值即可精准定位问题行。
• 变量传递：通过-v 参数名="$shell变量"的方式将KSH变量传递给AWK，避免原脚本中直接引用shell变量导致的解析错误。
• 效率提升：AWK直接读取整个文件，避免了KSH循环调用AWK的频繁进程创建开销，处理超大文件时速度显著提升。
• 错误捕获：通过ERRNO变量捕获AWK运行时错误，结合行号写入错误文件，彻底解决报错行无法定位的问题。

内容的提问来源于stack exchange，提问作者Mahesh