Bash脚本中awk命令语法错误求助：提取多CSV文件公共字符串

首先，咱们先拆解你的脚本出现的问题，然后一步步修复：

你的脚本核心错误分析 #

1. 语法错误的根源 #

你在awk命令里错误地使用了bash变量$i，bash会把这个变量替换成文件名（比如fileaa.csv），导致awk看到的代码变成了：

NR==FNR{a[fileaa.csv];next} (fileaa.csv in a) { print fileaa.csv }

这在awk里是完全无效的——awk会把fileaa.csv当成未定义的变量，而不是你想要的行或字段。另外，你想要的应该是匹配行内容或者某个字段，而不是文件名本身。

2. 逻辑错误 #

你的嵌套循环会两两比较文件，而且每次都会用>重写out.csv，最后得到的只是最后一对文件的交集，不是所有4个文件的公共行。同时循环还会重复处理（比如fileaa.csv和fileab.csv，反过来又会处理一次），做了很多无用功。

3. 不必要的eval #

eval在这里完全没必要，它不仅让脚本更难调试，还可能引入安全风险，直接调用awk就可以了。

正确的解决方案：提取所有文件的公共行 #

下面提供两种可靠的方法，根据你的需求选择：

方法1：用awk一次处理所有文件（推荐） #

这个脚本会逐步计算所有文件的交集，最后输出所有文件都存在的行：

awk -F'|' '
# 处理第一个文件，把所有行存入数组a
NR == FNR {
    a[$0] = 1
    next
}
# 处理后续文件，把在a中存在的行存入数组b
$0 in a {
    b[$0] = 1
}
# 每个文件处理完后，更新a为当前的交集（a和b的共同内容）
ENDFILE {
    if (FNR != NR) {  # 跳过第一个文件
        for (line in a) {
            if (!(line in b)) {
                delete a[line]
            }
        }
        delete b  # 清空b，准备处理下一个文件
    }
}
# 最后输出所有保留的公共行
END {
    for (line in a) {
        print line
    }
}' file*.csv > out.csv

如果你的需求是提取某个字段的公共值（比如第一列），只需要把$0换成$1即可。

方法2：用comm命令（适合排序后的文件） #

如果你的文件内容可以排序，comm命令可以快速取两个文件的交集，我们可以逐步累加：

# 先排序第一个文件作为初始交集
sort fileaa.csv > temp.csv

# 依次和剩下的文件取交集
for f in fileab.csv fileac.csv filead.csv; do
    sort "$f" > temp2.csv
    comm -12 temp.csv temp2.csv > temp.csv
done

# 把结果移到out.csv，清理临时文件
mv temp.csv out.csv
rm temp2.csv

新手避坑小贴士 #

• 不要在awk脚本里直接写bash变量，需要传递变量时用awk -v awk_var="$bash_var"的方式。
• 避免使用eval，除非你完全清楚它的风险。
• 处理多文件交集时，要逐步累加结果，而不是两两覆盖输出文件。

内容的提问来源于stack exchange，提问作者Rajat Kumar