如何用Pandas判断DataFrame行内多列值是否重复？避免嵌套循环

需求 #

判断给定DataFrame中每行的mark1、mark2、mark3、mark4、mark5列是否存在重复值，将结果以True/False形式添加为新列result。

原始数据 #

import pandas as pd

df = pd.DataFrame(data=[[7, 2, 3, 7, 7], [3, 4, 3, 2, 7], [1, 6, 5, 2, 7], [5, 5, 6, 3, 1]],
                  columns=["mark1", "mark2", 'mark3', 'mark4', 'mark5'])

期望输出 #

mark1  mark2  mark3  mark4  mark5  result
0      7      2      3      7      7    True
1      3      4      3      2      7    True
2      1      6      5      2      7   False
3      5      5      6      3      1    True

问题分析 #

你编写的嵌套循环函数报错AttributeError: 'Series' object has no attribute 'columns'，原因是使用df.apply(lambda x: ..., axis=1)时，传入函数的x是单行的Series对象，而非DataFrame，因此它没有columns属性。同时嵌套循环的索引逻辑也存在错误，且效率极低。

高效解决方案（无嵌套循环） #

以下两种方法均利用Pandas向量化操作，简洁高效：

方法1：通过唯一值数量判断 #

对每行指定列计算唯一值的数量，若数量小于列数则说明存在重复：

# 指定需要检查的列
target_cols = ["mark1", "mark2", 'mark3', 'mark4', 'mark5']
# 计算每行唯一值数量，与列数比较得到结果
df['result'] = df[target_cols].nunique(axis=1) < len(target_cols)

方法2：利用duplicated检查重复 #

对每行检查是否存在重复元素，只要有重复就返回True：

target_cols = ["mark1", "mark2", 'mark3', 'mark4', 'mark5']
df['result'] = df[target_cols].apply(lambda row: row.duplicated().any(), axis=1)

验证 #

运行上述任意一种方法，都会生成你需要的result列，完全符合期望输出。

内容的提问来源于stack exchange，提问作者Liu Yu