Unix下如何正确删除CSV文件的第一列（含带引号字段）

问题背景 #

现有17列的CSV文件，以逗号作为分隔符；当字段值包含逗号时，该字段会用双引号包裹。需要删除第一列，且保证后续字段的分隔符正常工作，仅能使用awk或sed实现。

原sed命令sed 's/[^,]*,//' file无法正确处理带引号的第一列，会错误截断字段（比如"frank, jr"会残留 jr"部分）。

解决方案1：awk（更可靠，适配复杂CSV场景） #

通过跟踪引号状态，精准定位第一列的结束分隔符：

awk -F '' '{
    in_quote = 0
    for (i=1; i<=length($0); i++) {
        c = substr($0,i,1)
        if (c == "\"") in_quote = !in_quote
        if (!in_quote && c == ",") {
            print substr($0,i+1)
            next
        }
    }
}' your_file.csv

工作逻辑： #

• -F ''将每行拆分为单个字符，方便逐个遍历检查
• in_quote变量标记是否处于双引号包裹的字段内（0=不在，1=在）
• 遍历每个字符，遇到双引号时切换in_quote状态
• 当不在引号内且遇到逗号时，说明这是第一列的结束符，输出该逗号之后的所有内容，直接进入下一行处理

解决方案2：sed（简洁，适配规则CSV场景） #

使用扩展正则匹配两种第一列的情况（带引号/不带引号）：

sed -E 's/^("[^"]*"|[^,]*),//' your_file.csv

工作逻辑： #

• -E启用扩展正则表达式，简化分组语法
• ^锚定行开头，确保只匹配第一列
• ("[^"]*"|[^,]*)匹配两种第一列：
  • "[^"]*"：匹配带双引号包裹的完整字段（从开头引号到结尾引号的内容）
  • [^,]*：匹配不带引号的字段（到第一个逗号前的所有非逗号字符）
• 匹配第一列后紧跟的逗号，将整个匹配内容替换为空，实现删除第一列的效果

验证效果 #

针对示例输入：

Jim,State,123456,Region1,759358,Yes,District1,
"frank, jr",State,789123,"Region2,Dummy",12345,No,District2,

执行上述任意命令后，输出均符合预期：

State,123456,Region1,759358,Yes,District1,
State,789123,"Region2,Dummy",12345,No,District2,

内容的提问来源于stack exchange，提问作者ImSahil