Pandas DataFrame重复行索引提取、去重及tolist属性报错解决方案

现有代码报错的核心原因 #

你遇到的'DataFrame' object has no attribute 'tolist'报错，是场景适配和版本迭代问题共同导致的：

• 参考的旧版教程适配早期pandas版本，当输入的DataFrame已经不存在任何重复行时，df[df.duplicated(keep=False)]会返回空表，后续groupby.apply的返回结构会变成DataFrame而非可直接调用.tolist()的Series，触发属性报错
• 现有代码存在多处冗余逻辑：计算生成的duplicateRowsDF变量全程没有被使用；写死取每个重复组第2个索引（n=1）的逻辑没有通用性，比如某组有3条重复行时，只会提取第三条的索引，漏掉前两条的重复行信息，不符合提取全部重复行索引的初衷；额外新增临时indexcol列做去重比对的逻辑，和pandas原生去重能力重复，徒增代码复杂度

易读性更强的重复行索引提取实现 #

完全可以复用pandas原生方法实现需求，不需要复杂的分组操作，代码逻辑直白无版本兼容问题：

def get_all_duplicate_indices(input_df):
    # keep=False会标记所有存在重复的行，不区分是第几次出现
    duplicate_mask = input_df.duplicated(keep=False)
    # 提取被标记行的索引，直接转为列表返回
    return input_df[duplicate_mask].index.tolist()

这段实现的逻辑非常直白：

• duplicated(keep=False)会生成布尔掩码，只要某行和DataFrame内任意其他行的全列值完全一致，不管是第一次出现还是最后一次，都会被标记为True
• 直接通过掩码筛选对应行的索引，调用.tolist()就能拿到所有重复行的索引列表。哪怕输入的是完全没有重复行的DataFrame，也会正常返回空列表，不会触发属性报错

配套去重功能的简化实现 #

不需要额外添加临时索引列做比对，直接基于pandas原生能力就能完成去重：

def handle_duplicate_entries(input_df):
    # 保留每组重复行的第一条出现的记录，重置索引避免原索引残留
    return input_df.drop_duplicates(keep="first").reset_index(drop=True)

去重结果的正确性校验 #

完成去重后，可以直接调用上述索引提取函数做校验：

# 校验去重后是否还存在未剔除的重复行
check_result = get_all_duplicate_indices(handle_duplicate_entries(used_df))
# 预期结果为空列表，代表去重流程生效
assert check_result == [], f"仍存在未剔除的重复行，对应索引为{check_result}"

内容的提问来源于stack exchange，提问作者noricia