如何检测pandas DataFrame多列之间是否存在共享值？

要判断DataFrame的多列中是否存在跨列重复的值（比如示例里bbb同时出现在A列和C列的不合规情况），我们可以借助集合的特性来高效实现，下面提供两种实用方案：

方法一：快速判断是否存在共享值（合规性检查） #

这个方法通过对比「各列唯一值的总数量」和「所有列合并后的唯一值数量」来判断：如果两者相等，说明没有跨列共享值；反之则存在共享值。

代码实现 #

import pandas as pd

def check_shared_values(df, columns=None):
    # 默认检查所有列，也可以指定特定列
    if columns is None:
        columns = df.columns
    # 将每列的唯一值转换为集合
    column_unique_sets = [set(df[col].unique()) for col in columns]
    # 计算各列唯一值的总数量
    total_unique_count = sum(len(s) for s in column_unique_sets)
    # 计算所有列合并后的唯一值总数量
    combined_unique_count = len(set.union(*column_unique_sets))
    # 两者相等则无共享值，返回True（合规）；否则返回False（不合规）
    return total_unique_count == combined_unique_count

# 测试用例
# 合规的DataFrame
df_valid = pd.DataFrame({
    'A': ['aaa', 'bbb', 'ccc', 'ddd', 'eee'],
    'B': ['fff', 'ggg', 'hhh', 'iii', 'jjj'],
    'C': ['lll', 'mmm', 'nnn', 'ooo', 'ppp']
})

# 不合规的DataFrame
df_invalid = pd.DataFrame({
    'A': ['aaa', 'bbb', 'ccc', 'ddd', 'eee'],
    'B': ['fff', 'ggg', 'hhh', 'iii', 'jjj'],
    'C': ['lll', 'mmm', 'nnn', 'bbb', 'ppp']
})

# 测试结果
print(check_shared_values(df_valid))  # 输出：True（合规）
print(check_shared_values(df_invalid))  # 输出：False（不合规）

如果只需要检查特定列（比如A和C列），可以传入columns参数：

print(check_shared_values(df_invalid, columns=['A', 'C']))  # 输出：False

方法二：定位具体的共享值 #

如果需要知道到底是哪些值跨列重复了，可以用这个方法找出所有共享的具体值：

代码实现 #

def find_shared_values(df, columns=None):
    if columns is None:
        columns = df.columns
    # 初始化共享值集合为第一列的唯一值
    shared_values = set(df[columns[0]].unique())
    # 遍历剩下的列，逐步查找交集
    for col in columns[1:]:
        current_col_unique = set(df[col].unique())
        # 找出当前列与已有共享值的交集
        cross_shared = shared_values.intersection(current_col_unique)
        if cross_shared:
            return cross_shared
        # 若当前列无共享值，就把当前列的唯一值加入集合继续检查
        shared_values.update(current_col_unique)
    # 没有共享值则返回空集合
    return set()

# 测试结果
print(find_shared_values(df_invalid))  # 输出：{'bbb'}
print(find_shared_values(df_valid))  # 输出：set()

总结 #

• 如果只需要快速判断是否合规，优先用方法一，效率更高；
• 如果需要定位具体的重复值来排查问题，选择方法二更合适。

内容的提问来源于stack exchange，提问作者ajwood