基于主键的Unix多文件指定列值替换技术需求

可以用awk编写通用脚本实现需求，核心逻辑是先构建file2中主键name到对应列值的映射，再遍历file1替换匹配行的指定列，同时保留原文件格式和列顺序。

实现脚本 #

创建一个update_cols.awk文件，内容如下：

BEGIN { FS=OFS="|" }

# 处理file2，构建name到列值的映射表
NR == FNR {
    if (NR == 1) {
        # 记录file2的列名与索引对应关系，定位name列位置
        for (i=1; i<=NF; i++) {
            f2_colname[i] = $i
            if ($i == "name") f2_key_idx = i
        }
        next
    }
    # 提取当前行的name值，存储对应列的键值对（跳过name本身）
    name = $f2_key_idx
    for (i=1; i<=NF; i++) {
        colname = f2_colname[i]
        if (colname != "name") map[name][colname] = $i
    }
    next
}

# 处理file1，替换匹配列
{
    if (FNR == 1) {
        # 记录file1的列名与索引对应关系
        for (i=1; i<=NF; i++) f1_colidx[$i] = i
        print  # 输出表头
        next
    }
    # 提取当前行的name值
    name = $f1_colidx["name"]
    # 遍历所有列，替换有映射值的列
    for (colname in f1_colidx) {
        idx = f1_colidx[colname]
        if (name in map && colname in map[name]) $idx = map[name][colname]
    }
    print  # 输出处理后的行
}

运行命令 #

在终端执行：

awk -f update_cols.awk file2 file1

脚本说明 #

1. 分隔符设置：开头指定FS=OFS="|"，保证列分割和输出格式统一。
2. 处理file2：
   • 读取表头记录列名位置，找到主键name的索引。
   • 遍历数据行，将每个name对应的其他列值存入二维数组map（比如map["abc"]["email"] = "zzzzzzzz"）。
3. 处理file1：
   • 读取表头记录列名与索引的对应关系，方便后续定位列位置。
   • 遍历数据行，根据当前行的name值，替换map中存在的对应列，其他列保留原值。
   • 输出处理后的行，保持原文件列顺序和格式。

该脚本兼容任意列数，只要两个文件均包含name作为主键，file2中存在的列名若在file1表头中出现，就会自动替换对应列值，不存在的列则忽略。

内容的提问来源于stack exchange，提问作者user23482267