AWK命令性能优化：240万行CSV数据处理提速需求

核心问题分析 #

当前方案耗时6小时的根本原因是逐行调用外部shell脚本，每行都要启动新进程执行grep、cut等命令，进程创建与销毁的开销占了绝大部分时间，导致处理效率仅约250行/秒。

优化思路 #

将映射文件一次性加载到AWK的关联数组中，全程用AWK完成映射匹配与输出，彻底避免外部进程调用，将处理效率提升几个数量级。

优化后的实现代码 #

awk -v FPAT="([^,]+)|(\"[^\"]+\")" '
BEGIN {
    FS = OFS = ","
    # 预加载映射文件到关联数组
    while ((getline line < "./file_for_use.txt") > 0) {
        # 清理行首尾的< >及空格
        gsub(/^<[[:space:]]+|[[:space:]]+>$/, "", line)
        # 分割键值对（兼容逗号后的空格）
        split(line, kv, /,[[:space:]]*/)
        # 处理<NULL映射为空字符串
        map[kv[1]] = (kv[2] == "<NULL") ? "" : kv[2]
    }
    close("./file_for_use.txt")
}
# 处理主CSV文件
{
    # 根据第二列匹配映射值
    prod = map[$2]
    # 遵循原业务逻辑输出：空值则追加逗号，否则追加逗号+映射值
    print $0 "," prod
}' file1.csv > output.csv

关键优化点 #

1. 预加载映射：启动AWK时一次性读取file_for_use.txt，将所有键值对存入关联数组，后续处理CSV时直接内存查询，无额外IO开销
2. 纯AWK内部处理：完全消除了每行调用外部脚本、grep、cut的进程开销，避免了大量系统调用
3. 兼容原逻辑：保留了原有的CSV字段解析规则（FPAT处理带引号的字段），以及<NULL映射为空的业务逻辑

效果预期 #

优化后处理240万行CSV的时间可缩短至数分钟（具体取决于硬件，通常能达到数万行/秒的处理速度）。

内容的提问来源于stack exchange，提问作者alex_rvn