如何检测Pandas DataFrame多列组合的重复值

你可以通过以下两种常用方式实现多列组合的唯一性检测，返回规则和单列is_unique完全一致：返回True代表指定多列的组合无重复，返回False代表存在重复的组合。

方法1：使用duplicated方法（性能更优，适合大数据量） #

通过duplicated方法的subset参数指定要校验的列范围，再对结果做逻辑判断即可：

# 校验Lat、Long两列组合是否无重复
not df.duplicated(subset=['Lat', 'Long']).any()

你的示例数据运行该代码后返回结果为True，符合预期。

方法2：转换为元组序列后复用is_unique属性 #

将指定多列按行拼接为元组，生成一维序列后直接调用is_unique属性，逻辑更直观：

df[['Lat', 'Long']].agg(tuple, axis=1).is_unique

运行后同样返回True。

内容的提问来源于stack exchange，提问作者xlra