Pandas drop_duplicates方法inplace参数异常问题求助

• inplace=True返回None是pandas的固定设计逻辑，不是异常：所有带inplace参数的pandas方法，开启该参数时只会直接修改原DataFrame对象，返回值固定为None。此时把返回值赋值给df_output，得到的自然是NoneType对象，本身就不是DataFrame，无法调用.empty属性做判断。另外目前pandas官方已经不推荐使用inplace参数，后续版本会逐步废弃该特性。
• inplace=False时看起来“未去重”，核心原因是对keep=False的参数逻辑理解偏差：keep=False的作用是删除所有存在重复的行，仅保留完全无重复的记录，而非常规的“去重留一”。如果你的数据集里["dataset_id", "end_time"]字段组合本身没有重复值，或者字段存在类型不匹配（比如时间字段是字符串和datetime格式混存、ID字段带不可见空格、浮点精度差）导致pandas无法识别为重复，返回的结果就会和原表完全一致，看起来像没有执行去重。

完全放弃inplace写法，通过生成新DataFrame的方式执行去重，直接适配if not df.empty:的规范判断逻辑，代码如下：

# 执行去重，生成新的DataFrame对象，不修改原始数据
df_output = (
    dw_pbi_data_merged
    .drop_duplicates(subset=["dataset_id", "end_time"], keep="first")
    .reset_index(drop=True) # 可选：去重后重置连续索引，避免后续索引断层
)

# 按编码规范做空判断
if not df_output.empty:
    # 此处编写后续业务处理逻辑
    pass

参数说明：如果业务需求是保留重复行的最后一条，把keep="first"改成keep="last"即可；如果业务需求是删除所有存在重复的记录、只留无重复行，才需要设置keep=False。

如果执行上述代码后仍然觉得去重未生效，先运行以下代码确认pandas实际识别到的重复行数量，排查字段匹配问题：

# 统计指定字段组合下被判定为重复的总行数
dup_total = dw_pbi_data_merged.duplicated(subset=["dataset_id", "end_time"], keep=False).sum()
print(f"识别到的重复行数量：{dup_total}")

如果输出结果为0，说明字段存在格式不一致问题，优先检查dataset_id和end_time的字段类型、是否存在不可见字符、格式不统一的情况，修正后再执行去重即可。

内容的提问来源于stack exchange，提问作者Jaxsss