如何用sed/awk为大文件中第3及以后竖线分隔字段添加引号？

你有一个2GB的竖线（|）分隔文件，共5个字段，前两个字段已带引号，需要为第3到第5个字段添加双引号。以下是两种高效的处理方案：

方法一：使用awk（推荐大文件场景） #

awk处理结构化文本的效率更高，适合大文件批量操作。通过设置字段分隔符，直接定位并修改目标字段：

awk 'BEGIN{FS=OFS="|"} {for(i=3;i<=NF;i++) $i="\""$i"\""} 1' input.txt > output.txt

• 细节说明：
  • BEGIN{FS=OFS="|"}：初始化输入和输出的字段分隔符为竖线，保证输出格式与输入一致
  • for(i=3;i<=NF;i++) $i="\""$i"\""：从第3个字段开始，为每个字段前后包裹双引号
  • 1：awk的简化写法，等价于print $0，用于打印处理后的整行内容

方法二：使用sed #

通过正则匹配定位前两个字段后的内容，对每个无引号字段添加双引号：

sed -E 's/^(([^|]+\|){2})(.*)/\1/g; s/([^|]+)/"\1"/g' input.txt > output.txt

• 细节说明：
  • ^(([^|]+\|){2})(.*)：捕获前两个字段（含末尾竖线），跳过这部分不处理
  • s/([^|]+)/"\1"/g：对剩余的每个字段（非竖线的连续字符）包裹双引号

注意事项 #

• 2GB大文件建议优先选择awk，处理速度和稳定性更优
• 操作前请先用小样本测试命令，确认输出格式符合预期
• 命令中input.txt是你的源文件，output.txt是处理后的新文件，避免直接覆盖原文件

内容的提问来源于stack exchange，提问作者Tahir Khalil