Bash环境下如何基于ID列表文件快速过滤超大型CSV文件？

你原来的脚本性能极差的核心原因是每读取1个ids.csv里的ID，就会全量扫描1次整个200万行的data.csv，总IO和计算量是300000 * 2000000 量级，属于典型的O(n*m)复杂度写法，哪怕做并行优化也解决不了本质的重复扫描问题。

用awk单次遍历两个文件即可实现，时间复杂度O(n+m)，两个文件各仅读取1次，30万ID+200万行数据的规模在普通消费级机器上3-5秒就能跑完，不需要任何并行拆分。

# 先清空输出文件，避免残留旧内容
> out.csv
awk -F',' '
  # 读取第一个输入文件（ids.csv）时，跳过表头，把所有ID存入内存哈希表
  NR == FNR {
    if (FNR > 1) valid_ids[$1] = 1
    next
  }
  # 读取第二个输入文件（data.csv）时，第一行表头直接写入输出
  FNR == 1 {
    print
    next
  }
  # 其余行如果ID在哈希表中，自动触发打印
  valid_ids[$1]
' ids.csv data.csv > out.csv

方案说明：

• 30万ID存入哈希表仅占用十几MB内存，完全没有内存压力
• 全程单次顺序读盘，没有反复启动进程、重复扫描大文件的额外开销
• 匹配逻辑是哈希表O(1)查询，没有逐行遍历比对的冗余计算

如果后续文件规模增长到ID集内存放不下的程度，可以用join命令做排序归并匹配，内存占用极低，适合亿级行以上的超大数据量场景：

# 处理ids.csv：跳过表头、按ID排序生成临时文件
tail -n +2 ids.csv | sort -t',' -k1,1 > sorted_ids.tmp
# 处理data.csv：提取表头，剩余内容按ID排序后和ID集做内连接，拼接后输出
(
  head -n 1 data.csv
  tail -n +2 data.csv | sort -t',' -k1,1 | join -t',' -1 1 -2 1 sorted_ids.tmp -
) > out.csv
# 清理临时文件
rm sorted_ids.tmp

注意这个方案要求两个文件中的ID格式一致（无多余前后空格、编码统一），join命令会对两个排序后的文件做线性归并匹配，不需要把全量ID加载到内存。

内容的提问来源于stack exchange，提问作者Max