如何用Shell脚本匹配不同长度CSV指定列并输出对应行？

你的现有脚本存在几个关键问题：

• 没有提取first.csv的第6列，而是用整行去匹配second.csv，完全不符合需求
• 每次循环用> output_file会覆盖之前的内容，最终只保留最后一次循环的结果
• 嵌套调用cat和grep的方式效率极低，文件较大时会非常慢

推荐解决方案：用awk处理 #

awk是处理文本列的高效工具，适合这类CSV匹配场景：

awk -F ',' 'NR==FNR {keys[$2]=1; next} $6 in keys' second.csv first.csv

代码解释：

• -F ','：指定分隔符为逗号
• NR==FNR：当处理第一个文件（second.csv）时执行的逻辑
  • keys[$2]=1：把second.csv的第2列值存入数组keys，作为匹配标记
  • next：跳过后续逻辑，直接处理下一行
• $6 in keys：处理第二个文件（first.csv）时，检查第6列的值是否在keys数组中，存在则输出当前行

如果需要把结果保存到文件，直接追加重定向即可：

awk -F ',' 'NR==FNR {keys[$2]=1; next} $6 in keys' second.csv first.csv > output_file

备选方案：用join工具（需先排序） #

join工具要求两个文件按连接字段排序，所以需要先预处理：

# 提取second.csv的第2列并排序，生成临时文件
cut -d ',' -f 2 second.csv | sort > tmp_second.txt
# 提取first.csv的第6列和整行，按第6列排序，再和临时文件join，最后提取原行
awk -F ',' '{print $6 "," $0}' first.csv | sort -t ',' -k1,1 | join -t ',' -1 1 -2 1 tmp_second.txt - | cut -d ',' -f 2- > output_file
# 删除临时文件
rm tmp_second.txt

这个方法适合熟悉join工具的场景，但步骤比awk多，效率略低于awk。

内容的提问来源于stack exchange，提问作者Jiggen