如何用AWK实现四列锁定组去重？组间可互换组内不可调换

嘿，我来帮你搞定这个四列去重的问题！先聊聊你之前遇到的两列方案为啥不管用，再给你针对性的解决办法。

先说说之前两列方案的问题 #

你用的awk '!seen[$1,$2]++ && !seen[$2,$1]++' file逻辑其实有问题——它的意思是只有当$1,$2和$2,$1这两个组合都从未出现过时，才保留当前行。举个例子：

• 第一次遇到a;b时，seen[a,b]和seen[b,a]都会被标记为已存在，所以行会被保留；
• 当后续遇到b;a时，seen[b,a]已经是1了，!seen[b,a]为假，整个条件不满足，理论上应该被过滤。但你说结果里还留着重复项，可能是测试输入里a;b出现了多次？不管怎样，这个逻辑根本不是用来处理“a,b和b,a视为重复”的场景，正确的两列去重应该是生成一个固定顺序的键（比如把两列按字典序排序后拼接），而不是同时标记两个反向组合。

针对四列需求的解决方案 #

你的核心需求很明确：

• 把前两列当成一个不可拆分的组（记为组A：$1;$2），后两列当成另一个不可拆分的组（记为组B：$3;$4）；
• 组A;组B和组B;组A视为重复，只保留第一次出现的；
• 组内元素调换（比如Berlin;Germany变成Germany;Berlin）属于不同记录，必须保留。

实现命令 #

用AWK可以轻松实现这个逻辑，命令如下：

awk -F';' '{
    # 把前两列、后两列分别拼成组（保持组内顺序）
    groupA = $1 ";" $2
    groupB = $3 ";" $4
    # 生成两个可能的组合键：组A+组B，组B+组A
    keyAB = groupA "," groupB
    keyBA = groupB "," groupA
    # 如果两个键都没被记录过，说明是新的唯一记录
    if (!seen[keyAB] && !seen[keyBA]) {
        print $0
        # 标记两个键为已存在，避免后续重复项
        seen[keyAB] = 1
        seen[keyBA] = 1
    }
}' input.txt

验证你的示例输入 #

把你的示例输入存为input.txt：

Dallas;Texas;Berlin;Germany
Paris;France;Tokyo;Japan
Berlin;Germany;Dallas;Texas
Florence;Italy;Dublin;Ireland
Berlin;Germany;Texas;Dallas

执行上面的命令后，输出和你期望的完全一致：

Dallas;Texas;Berlin;Germany
Paris;France;Tokyo;Japan
Florence;Italy;Dublin;Ireland
Berlin;Germany;Texas;Dallas

逻辑解释 #

1. 分隔与分组：用-F';'把每行按分号拆分，然后把前两列、后两列分别拼接成groupA和groupB，确保组内元素顺序不变；
2. 生成组合键：针对“组间互换视为重复”的规则，生成keyAB（组A在前，组B在后）和keyBA（组B在前，组A在后）两个键；
3. 去重判断：只有当这两个键都没在seen数组里出现过，才打印当前行，并把两个键都标记为已存在——这样后续遇到组间互换的记录时，会因为其中一个键已经存在而被过滤；
4. 保留组内调换记录：像最后一行Berlin;Germany;Texas;Dallas，它的groupA是Berlin;Germany，groupB是Texas;Dallas，这两个组的组合之前从未出现过，所以会被保留。

内容的提问来源于stack exchange，提问作者James Biffi