为何两段看似相同的文件名文本被Python、Notepad++等识别为不同？

问题描述 #

两段文本看起来都是RMX.jeeperscreepers203.rar，但Python、Notepad++及差异检测工具均判定二者不同，普通文本搜索无法定位差异点。

根本原因 #

其中一段文本包含不可见的Unicode控制字符（比如零宽空格、非打印控制符），这类字符肉眼无法察觉，但会被程序判定为有效字符，导致文本内容实际不一致。

解决方案 #

1. 用Python定位差异字符

通过输出每个字符的Unicode编码，直接找出隐藏的差异点：

# 两段待对比文本
str1 = "RMX.jeeperscreepers203.rar"
str2 = "RMX.jeeperscreepers203.rar"

# 遍历对比每个字符
for idx, (char1, char2) in enumerate(zip(str1, str2)):
    if char1 != char2:
        print(f"差异位置{idx}: 字符1={repr(char1)} (编码{ord(char1)}), 字符2={repr(char2)} (编码{ord(char2)})")

运行后会输出差异字符的具体编码，确认不可见字符的存在。

2. 批量清理不可见字符

使用正则表达式过滤文本中的非打印控制字符，统一文本内容：

import re

def remove_invisible_chars(input_str):
    # 移除所有ASCII控制字符（保留可打印字符）
    return re.sub(r'[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F]', '', input_str)

# 清理后对比
cleaned_str2 = remove_invisible_chars(str2)
print(str1 == cleaned_str2)  # 输出True，说明内容已一致

3. 手动可视化排查（Notepad++）

打开文本文件后，通过「视图→显示符号→显示所有字符」功能开启全字符显示，此时隐藏的不可见字符会被直观显示，直接删除即可完成修正。

内容的提问来源于stack exchange，提问作者Yunus Emre Ulusoy