子集化DataFrame时遭遇Cannot Reindex from a duplicate axis错误求助

嘿，我懂你遇到的这个麻烦——当DataFrame有重复列名时，直接用列名索引做比较会触发那个头疼的ValueError，这都是重复轴没法正确对齐搞的鬼。

先复盘下你的场景：你有个列名全是Col的DataFrame，想筛选出至少包含一个"A"的行，但用final_df = df["Col"] == "A"的方式完全走不通。

为什么原来的代码会报错？ #

因为你的列名重复了，df["Col"]返回的不是单个Series，而是一个包含所有Col列的DataFrame。直接和"A"比较后得到的是布尔值组成的DataFrame，这时用它去筛选原DataFrame，pandas会尝试重新索引，但重复的列名让这个操作无法正常完成，所以就抛出了cannot reindex from a duplicate axis的错误。

正确的解决方法 #

我们需要先生成一个行级别的布尔掩码，标记哪些行至少包含一个"A"，再用这个掩码去筛选原DataFrame：

首先还原你的DataFrame：

import pandas as pd

data = [["A", "B", "C"], ["B", "B", "C"], ["B", "A", "A"]]
df = pd.DataFrame(data, index=["Alex", "Jack", "Mark"], columns=["Col", "Col", "Col"])

然后执行以下代码完成筛选：

# 生成每行是否存在至少一个"A"的布尔掩码
mask = df.eq("A").any(axis=1)
# 用掩码筛选出符合条件的行
final_df = df[mask]

运行后打印final_df就能得到你想要的结果：

Col  Col  Col
Name             
Alex   A    B    C
Mark   B    A    A

代码解释 #

• df.eq("A")：遍历整个DataFrame，把等于"A"的元素转为True，其余转为False
• .any(axis=1)：按行检查，只要一行里有一个True，就返回True（也就是该行满足"至少有一个A"的条件）
• 最后用这个布尔掩码mask索引原DataFrame，就能精准筛选出你需要的行啦

内容的提问来源于stack exchange，提问作者Alessandro Ceccarelli