如何快速查找DataFrame中的唯一标识符？多列DataFrame列对校验方法

嘿，这两个问题在处理大型DataFrame时确实很常见，我来分享几个实用的解决方案：

判断单列是否能作为唯一标识符，核心就是看这列的唯一值数量是否等于DataFrame的总行数——毕竟唯一标识符要能精准定位每一行嘛。用Pandas的nunique()方法就能快速实现：

import pandas as pd

# 假设你的数据集是df
single_col_unique_ids = df.columns[df.nunique() == len(df)]
print("可作为唯一标识符的单列：", single_col_unique_ids.tolist())

简单解释下：df.nunique()会返回每一列的唯一值个数，把它和总行数len(df)对比，相等的列就是能单独当唯一ID的列。

如果单列找不到合适的唯一ID，就得找多列组合了。这里可以用itertools.combinations生成所有两两列的组合，再逐一验证组合的唯一性：

from itertools import combinations
import pandas as pd

# 生成所有列的两两组合
column_pairs = list(combinations(df.columns, 2))

valid_unique_pairs = []
for pair in column_pairs:
    # 检查该列对去重后的行数是否和原数据一致
    if len(df.drop_duplicates(subset=list(pair))) == len(df):
        valid_unique_pairs.append(pair)

print("可作为唯一标识符的列对：", valid_unique_pairs)

要是你的DataFrame特别大（比如百万级行数），可以先做个小优化：先筛选出本身唯一值较多的列（比如df.nunique() > len(df)*0.8），再用这些列生成组合，能大幅减少需要验证的数量，提升速度。

内容的提问来源于stack exchange，提问作者joejoemac