为何Pandas DataFrame.duplicated()在值重复时返回True？求解惑

你对两个关键概念的理解出现了混淆，拆解说明如下：

1. ValueError: cannot reindex on an axis with duplicate labels的触发原因 #

这个报错确实指向索引或列标签存在重复值，导致Pandas在重新索引时无法定位唯一的行/列，和行数据的内容完全无关。

2. df.duplicated()的实际作用 #

这个方法的功能是检查整行数据的重复性，而非索引或列标签的重复：

• 当某一行的所有列数据和之前某一行完全一致时，会被标记为True
• 默认保留第一次出现的行，后续重复行均标记为True

3. 你的两个例子分析 #

• 第一个例子：

  test=pd.DataFrame(data=np.arange(12).reshape(4,3),index=np.arange(4),columns=np.arange(3))
  test.duplicated()
  

  每一行的数值都是唯一的（比如[0,1,2]、[3,4,5]），所以返回全False，这和索引/列标签的唯一性无关。

• 第二个例子：

  test=pd.DataFrame(data=np.zeros(12).reshape(4,3),index=np.arange(4),columns=np.arange(3))
  test.duplicated()
  

  所有行的数值都是[0,0,0]，除了第一行，后面的行都是重复数据，所以返回[False, True, True, True]。

4. 如何检查索引/列标签的重复 #

如果要验证索引或列标签是否重复，应该使用：

• 检查索引重复：test.index.duplicated()
• 检查列标签重复：test.columns.duplicated()

内容的提问来源于stack exchange，提问作者user19023975