使用comm命令对比文件时复杂场景下结果异常的问题排查

comm -1 -3命令的核心前提是两个输入文件必须经过相同规则排序，且无隐形字符差异（如行首/行尾空格、不同换行符），否则会出现误判，比如把双文件共有的行错误识别为仅存在于第二个文件的行。

问题根源 #

你的案例中，行10被误判的原因大概率是以下之一：

• 两个文件未按统一规则排序，comm依赖有序行做逐行匹配，无序会打乱对比逻辑
• 行10在两个文件中存在隐形差异：比如一个行尾带空格/制表符，另一个没有；或者换行符是LF（Unix）和CRLF（Windows）的区别
• 空行的格式不一致：比如一个是纯空白行，另一个包含空格

解决方法 #

方法1：标准化文件后再用comm（推荐，大文件效率高）

先清理隐形字符并统一排序，消除格式差异：

# 清理行尾空白+排序，生成标准化文件
sed 's/[[:space:]]*$//' file1.txt | sort -b > sorted_file1.txt
sed 's/[[:space:]]*$//' file2.txt | sort -b > sorted_file2.txt

# 执行comm对比
comm -1 -3 sorted_file1.txt sorted_file2.txt

• sed 's/[[:space:]]*$//'：移除行尾所有空白字符（空格、制表符等）
• sort -b：忽略行首空白后排序，避免行首空格导致排序错位

如果不想生成临时文件，用进程替换直接执行：

comm -1 -3 <(sed 's/[[:space:]]*$//' file1.txt | sort -b) <(sed 's/[[:space:]]*$//' file2.txt | sort -b)

方法2：用grep替代（无需排序，小文件更方便）

如果不需要排序后的结果，grep可以直接做整行对比：

grep -Fxvf file1.txt file2.txt

• -F：将匹配模式视为固定字符串（避免正则冲突）
• -x：仅匹配整行完全一致的内容
• -v：反向输出，即仅输出file2中不在file1的行
• -f：从file1读取匹配规则

验证隐形差异的小技巧 #

如果怀疑行有隐形字符，可以用cat -A查看：

cat -A file1.txt | grep "行10的内容"
cat -A file2.txt | grep "行10的内容"

cat -A会显示所有不可见字符，比如$表示换行符，^I表示制表符，通过对比就能找到差异点。

内容的提问来源于stack exchange，提问作者Alfred.37