多文件匹配行占比统计需求：跨百级大文件按比例查询共性行

嘿，处理上百个百万级行的文件，还要精准统计不同出现频次的行？这事儿用Shell工具组合就能高效搞定，别折腾那些慢得要死的冗余脚本（除非你要做更复杂的业务处理，但核心统计用Shell足够快）。下面给你一套实战方案，一步步来：

我们的目标是统计每一行在多少个不同文件中出现，而非总出现次数（同一个文件里重复的行只算一次）。步骤很清晰：

1. 给每一行打上来源文件的标记
2. 去重同一个文件内的重复行（避免重复统计）
3. 统计每行对应的文件数量
4. 根据需求筛选结果

先把所有文件的行处理并统计，输出到结果文件（避免重复处理大文件）：

# 处理所有txt文件（如果是其他格式，把*.txt换成你的文件名通配符）
find . -maxdepth 1 -type f -name "*.txt" -exec awk '{print $0 "|" FILENAME}' {} + | sort -u | awk -F '|' '{count[$1]++} END {for (line in count) print count[line], line}' | sort -nr > line_counts.txt

命令拆解： #

• find ... -exec awk ... {} +：遍历所有目标文件，用awk给每一行加上|文件名的后缀（选|是因为它很少出现在普通文本行里，避免和行内内容冲突；如果你的行里有|，换成其他罕见字符比如^）
• sort -u：去掉同一个文件内的重复行（比如文件A里某行出现10次，这里只保留一条）
• 第二个awk：统计每行（去掉文件名后缀后）对应的文件数量，最后输出数量 行内容的格式
• sort -nr：按出现次数从多到少排序，方便快速查看高频行

先获取总文件数，方便后续计算：

total_files=$(find . -maxdepth 1 -type f -name "*.txt" | wc -l)

1. 所有文件共有的行 #

awk -v total="$total_files" '$1 == total' line_counts.txt

2. 仅缺失1个文件的行（比如100个文件里出现在99个中） #

awk -v total="$total_files" '$1 == total - 1' line_counts.txt

3. 仅缺失2个文件的行 #

awk -v total="$total_files" '$1 == total - 2' line_counts.txt

4. 按占比筛选（比如90%、80%、70%的文件中出现） #

以90%为例，先计算阈值，再筛选：

# 计算阈值（向下取整，比如100个文件就是90，101个就是90）
threshold=$(echo "$total_files * 0.9" | bc | awk '{print int($1)}')
# 筛选出现次数>=阈值的行
awk -v thresh="$threshold" '$1 >= thresh' line_counts.txt

把0.9换成0.8、0.7就能对应80%、70%的需求。

• 如果你的文件特别大（单文件数G级别），sort的时候可能会占满内存，给sort加-T /path/to/large/tmp指定一个有足够空间的临时目录：

  find ... | sort -u -T /mnt/big_drive/tmp | awk ...
  

• 如果文件名包含空格、特殊字符，用find而不是ls来获取文件列表，避免出错
• 如果行内容特别长，不用担心，awk和sort都能处理长文本，只要磁盘空间足够

内容的提问来源于stack exchange，提问作者Santiago Montero-Mendieta