为何结构与内容均一致的两个空Pandas DataFrame调用equals()方法时判定不相等?
为何结构与内容均一致的两个空Pandas DataFrame调用equals()方法时判定不相等?
嗨,这个问题其实是Pandas空DataFrame的数据类型(dtype)差异在搞鬼!我来给你拆解一下:
问题根源
当你通过extract_redundant_values生成out_df时,这个空DataFrame是从原in_df(列类型都是int64)筛选出来的,所以它会保留原数据的列数据类型。但你直接创建的expected_out_df,因为没有初始数据,Pandas会默认把列类型设为object——这就是两个空DataFrame看起来一样,但equals()判定不等的核心原因!
你可以自己打印验证一下:
print(out_df.dtypes) # Col1 int64 # Col2 int64 # Col3 int64 # dtype: object print(expected_out_df.dtypes) # Col1 object # Col2 object # Col3 object # dtype: object
为什么之前的断言都通过了?
你前面的几个断言没覆盖到dtype检查:
columns.equals只校验列名和顺序,不管列的类型;index.equals校验索引结构,这里两个都是空的RangeIndex,自然一致;np.array_equal只比较数组值,空数组的数值内容确实一样,但它不会检查数据类型;- 而Pandas的
equals()方法会全面校验所有属性:列名、索引、数据值,还有关键的——列的数据类型!
至于你测试的两个直接创建的空DataFrame,因为它们的列类型都是默认的object,所以equals()会判定相等,这和你的场景不一样。
解决方法
要让expected_out_df和out_df完全一致,创建时要指定和原数据匹配的列类型:
# 方法1:复用原DataFrame的dtype expected_out_df = pd.DataFrame(columns=expected_columns, dtype=in_df.dtypes) # 方法2:更简洁的方式,直接从原DataFrame生成空结果 expected_out_df = in_df.loc[[]]
这样再调用out_df.equals(expected_out_df)就会返回True了!
备注:内容来源于stack exchange,提问作者Tim Kirkwood
相关产品推荐
相关产品推荐

