Pandas带分类索引的DataFrame执行join操作返回异常结果如何解决？

这个是Pandas 1.5.0版本以下的已知缺陷：当两个表的多层索引都由有序分类变量构成时，join操作的底层匹配逻辑会出现编码识别错误，无法正确匹配相同的分类值组合，即使两个表的分类变量类型完全一致也会出现匹配失败的情况。

你可以根据自己的使用场景选择以下任意一种方案解决：

• 方案1：升级Pandas到1.5.0及以上版本，该版本已经修复了分类类型多层索引的join匹配问题，你原有代码不需要做任何修改即可得到预期结果。
• 方案2：不方便升级版本的情况下，改用merge方法显式指定匹配字段替代join操作：

result = test_a.reset_index().merge(
    test_b.reset_index(),
    on=['shape', 'color'],
    how='left'
).set_index(['shape', 'color'])

• 方案3：临时将索引转换为object类型完成join，用完后可以按需转回分类类型（该方案会丢失分类的有序属性，非必要不推荐）：

test_a.index = test_a.index.astype(object)
test_b.index = test_b.index.astype(object)
result = test_a.join(test_b, how='left')

内容的提问来源于stack exchange，提问作者tcquinn