使用AWK处理竖线分隔文件：转义双引号内的竖线

核心逻辑 #

处理带引号的分隔符文件，关键是精准识别双引号的开闭状态——只有在引号内部时，才对竖线添加反斜杠转义。针对5GB级别的大文件，必须用流式处理工具避免内存溢出，AWK是最优选择，之前用gsub无效是因为没处理引号状态的判断。

单指定列处理脚本 #

假设要处理第3列（AWK列索引从1开始），用gawk编写如下脚本：

BEGIN { FS = "|"; OFS = "|" }
{
    for (i=1; i<=NF; i++) {
        if (i == 3) {  # 这里指定要处理的列
            q = 0
            len = length($i)
            res = ""
            for (j=1; j<=len; j++) {
                c = substr($i, j, 1)
                if (c == "\"") q = !q
                if (q && c == "|") res = res "\\" c
                else res = res c
            }
            $i = res
        }
    }
    print $0
}

保存为escape_pipe.awk后，执行命令：

gawk -f escape_pipe.awk input.txt > output.txt

脚本逐字符遍历目标列内容，跟踪引号状态，仅在引号内部遇到竖线时添加转义符，流式处理不加载整个文件到内存，适配大文件场景。

多列处理方案 #

如果需要同时处理第2、4、5列，修改脚本为：

BEGIN { FS = "|"; OFS = "|" }
{
    # 定义需要处理的列集合
    target_cols["2"] = 1
    target_cols["4"] = 1
    target_cols["5"] = 1
    for (i=1; i<=NF; i++) {
        if (target_cols[i ""] != "") {  # 判断当前列是否在目标列表中
            q = 0
            len = length($i)
            res = ""
            for (j=1; j<=len; j++) {
                c = substr($i, j, 1)
                if (c == "\"") q = !q
                if (q && c == "|") res = res "\\" c
                else res = res c
            }
            $i = res
        }
    }
    print $0
}

这种方式可灵活添加任意需要处理的列，保持流式处理的高效性。

为什么之前的gsub无效？ #

普通gsub是全局替换，无法区分引号内外的竖线。必须通过跟踪引号的开闭状态，才能实现精准的条件替换，这也是上述脚本的核心逻辑。

性能优化建议 #

• 优先使用gawk而非普通awk，gawk在大文件处理上性能更优
• 添加LC_ALL=C环境变量加速字符处理：

LC_ALL=C gawk -f escape_pipe.awk input.txt > output.txt

内容的提问来源于stack exchange，提问作者Kalpesh