DataFrame重复索引删除：drop_duplicates与duplicated区别解惑

核心区别 #

• .duplicated()：返回布尔Series，标记每一行是不是重复项（默认重复项里除第一个外都标True），它本身不修改原DataFrame，得你自己用这个布尔序列去筛数据——比如df = df[~df.index.duplicated(keep='first')]。
• .drop_duplicates()：这个方法默认是针对整行内容去重，不是针对索引！除非你指定subset参数明确基于索引去重，不然它只会检查每行数据是否重复，完全不管索引有没有重复，这就是你一开始用它没解决问题的原因。

关于df.index.drop_duplicates()的误区 #

你打印df.index.drop_duplicates(keep="first")得到的是去重后的索引对象，但这只是单独处理了索引本身，没把这个新索引套回原DataFrame里。所以直接用.loc的话，原DataFrame的重复索引还是存在的。正确的做法是用这个去重后的索引筛选DataFrame：

df = df.loc[df.index.drop_duplicates(keep='first')]

或者更省事的用.duplicated()的写法：

df = df[~df.index.duplicated(keep='first')]

总结 #

• 处理重复索引，优先用df.index.duplicated()生成布尔掩码筛选，逻辑更直接不容易踩坑。
• 如果非要用.drop_duplicates()处理索引，必须指定subset为索引列（比如df.drop_duplicates(subset=df.index.names)），不然它根本不会管索引的重复问题。

内容的提问来源于stack exchange，提问作者vegemon