使用掩码筛选Pandas DataFrame等值列行无结果的原因及解决方法

这种情况我碰到过好多次，大概率不是你眼睛看错了，而是肉眼看不见的类型差异或者隐形字符问题在搞鬼，给你拆解下常见原因和解决办法：

常见原因 #

• 数据类型不匹配：你以为两列类型相同，但实际可能一个是datetime64类型，另一个是object（字符串）类型。比如Column1被pandas自动解析成了日期，而Column7还是存成了字符串，看起来都是4/1/2012，但底层存储完全不一样，直接用==比较肯定不相等。
• 字符串藏了隐形字符：比如其中一列的日期字符串前后有空格、制表符甚至换行符，比如'4/1/2012 '和'4/1/2012'，肉眼根本分不出来，但字符串比较就是不相等。
• 日期解析逻辑不一致：如果两列都是日期类型，但pandas解析时用了不同的格式（比如一个按月/日/年，一个按日/月/年），那看起来一样的字符串会被转成完全不同的日期值，自然也不相等。

解决步骤 #

第一步：先确认两列的数据类型 #

先跑个命令看看两列的类型：

print(df[['Column1', 'Column7']].dtypes)

如果类型不一样，先统一类型：

• 如果是日期类型问题，直接转成datetime：

df['Column1'] = pd.to_datetime(df['Column1'])
df['Column7'] = pd.to_datetime(df['Column7'])

• 如果是字符串类型，先清理掉隐形字符：

df['Column1'] = df['Column1'].str.strip()
df['Column7'] = df['Column7'].str.strip()

第二步：验证相等性（快速排查） #

如果统一类型后还是不行，可以先把两列都转成字符串再比较，看看是不是能得到预期结果：

newdf = df[df['Column1'].astype(str) == df['Column7'].astype(str)]

如果这个有结果，说明确实是类型解析的问题；如果还是空，那就要进一步排查。

第三步：揪出不相等的行细节 #

用下面的代码打印出前几个不相等的行，看看具体值的差异：

for idx, row in df[df['Column1'] != df['Column7']].head(5).iterrows():
    print(f"行号 {idx}: Column1={repr(row['Column1'])}, Column7={repr(row['Column7'])}")

用repr()能显示出字符串的隐形字符（比如空格会直接显示出来），也能看到数据类型的差异（比如datetime对象会显示成Timestamp('2012-01-01 00:00:00')，而字符串就是'1/1/2012'）。

一般按这个流程走，都能找到问题所在，调整后再用你的掩码语句就能得到正确的结果啦！

内容的提问来源于stack exchange，提问作者nostradukemas