基于fileB.csv首列ID过滤fileA.csv的Bash实现及结果异常问题

文件说明 #

fileA.csv（约32,128,236行） #

每行首列为ID，第二列为带引号的字符串（可能包含逗号）：

87687,"institute Polytechnic, Brazil"
342424,"university of India, India"
24343,"univefrsity columbia, Bogata, Colombia"
82739, "Hero univetsity, greece"
...

fileB.csv（约29,206,428行） #

每行仅包含一个ID：

342424
82739
...

需求 #

保留fileA.csv中首列ID存在于fileB.csv中的行，删除不匹配的行。但现有Bash方案处理后，结果文件有30,932,039行（行数超过fileB，不符合预期），需解决该问题。

问题原因分析 #

1. fileA存在重复ID：即使fileB的ID唯一，fileA中同一ID多次出现会导致结果行数多于fileB
2. 匹配逻辑错误：现有命令可能误匹配了非首列的数字，或未处理ID前后的空格（如fileA中82739, 的空格）
3. fileB存在重复ID：若fileB有重复ID，部分命令（如grep -f）会重复匹配同一行

解决方案 #

方案1：awk高效处理（推荐，支持重复ID） #

awk -F, 'NR==FNR {ids[$1]; next} $1 in ids' fileB.csv fileA.csv > result.csv

• 逻辑说明：
  • -F,：以逗号为分隔符，确保正确提取首列ID
  • NR==FNR：仅处理第一个输入文件（fileB），将所有ID存入关联数组ids
  • $1 in ids：遍历fileA时，仅输出首列ID存在于ids中的行

方案2：排序后用join（适合无重复ID场景） #

若两个文件的ID均无重复，join命令效率更高：

# 预排序（大文件建议用sort的--parallel参数加速，如--parallel=8）
sort --parallel=8 fileB.csv > sorted_b.csv
sort --parallel=8 -t, -k1,1 fileA.csv > sorted_a.csv
# 执行匹配
join -t, sorted_b.csv sorted_a.csv > result.csv

结果验证 #

# 统计结果行数
wc -l result.csv
# 检查fileA中的重复ID数量
cut -d, -f1 fileA.csv | sort --parallel=8 | uniq -d | wc -l
# 检查fileB中的重复ID数量
sort --parallel=8 fileB.csv | uniq -d | wc -l

内容的提问来源于stack exchange，提问作者AJW