Pandas中.isin()搭配value_counts()结果异常，求两DataFrame列重叠率计算方法

首先明确：你示例中的isin输出是符合pandas逻辑的——df['t']全为2.0，df['l']包含整数2，pandas会隐式转换类型做匹配，因此每行的isin结果都是True，最终返回True 6。你期望的True=1是误解了isin的作用：它是逐行检查当前元素是否在目标序列中，而非统计两列的交集元素数量。

下面针对你的核心需求（遍历两个DataFrame列计算重叠率）及类型匹配异常问题给出解决方案：

一、解决类型匹配导致的异常 #

如果需要严格匹配值和类型（避免2.0和2被误判为相同），可以统一列的类型后再计算。常用方式是转为字符串，确保完全匹配：

# 统一转为字符串类型后再做isin检查
df['t'].astype(str).isin(df['l'].astype(str)).value_counts()

二、核心需求：生成两DataFrame列组合的重叠率表格 #

1. 定义重叠率计算逻辑 #

根据你的场景，选择两种常用的重叠率计算方式：

• 元素级重叠率：A列中出现在B列的元素数量占A列总元素的比例
• 唯一元素重叠率：A列与B列的唯一元素交集数量占A列唯一元素总数的比例

2. 完整代码实现 #

import pandas as pd
import itertools

# 示例测试数据
df1 = pd.DataFrame({
    '列1': [2,2,2,2,2,2],
    '列2': [10,20,30,40,50,60]
})
df2 = pd.DataFrame({
    '列2': [2,2,2,2,2,2],
    '列3': [2,2,2,2,2,2],
    '列B': [10,10,20,70,80,90]
})

# 方式1：计算元素级重叠率（适合关注整体元素匹配度）
def calc_element_overlap(col_a, col_b):
    # 统一类型避免隐式转换
    col_a_str = col_a.astype(str)
    col_b_str = col_b.astype(str)
    match_count = col_a_str.isin(col_b_str).sum()
    return round(match_count / len(col_a) * 100, 2)

# 方式2：计算唯一元素重叠率（适合关注去重后的元素匹配度）
def calc_unique_overlap(col_a, col_b):
    set_a = set(col_a.astype(str).unique())
    set_b = set(col_b.astype(str).unique())
    intersection = len(set_a & set_b)
    total = len(set_a)
    return round(intersection / total * 100, 2) if total != 0 else 0.0

# 生成结果表格
result = pd.DataFrame(index=df1.columns, columns=df2.columns)

# 遍历所有列组合计算（可根据需求切换calc_element_overlap/calc_unique_overlap）
for col1 in df1.columns:
    for col2 in df2.columns:
        result.loc[col1, col2] = calc_element_overlap(df1[col1], df2[col2])

print(result)

3. 输出结果 #

列2    列3    列B
列1  100.0  100.0   0.0
列2    0.0    0.0  33.33

完全符合你描述的场景：列1与列2、列3重叠率100%，列2与列B重叠率约33.33%。

三、大型DataFrame优化方案 #

如果处理超大型DataFrame，逐列循环效率较低，可预先提取所有列的唯一值集合，批量计算：

# 预先提取各列的唯一值集合（转字符串确保类型严格匹配）
df1_unique = {col: set(df1[col].astype(str).unique()) for col in df1.columns}
df2_unique = {col: set(df2[col].astype(str).unique()) for col in df2.columns}

# 生成所有列组合
col_pairs = list(itertools.product(df1.columns, df2.columns))

# 批量计算唯一元素重叠率
def batch_calc_overlap(pair):
    col1, col2 = pair
    intersection = len(df1_unique[col1] & df2_unique[col2])
    total = len(df1_unique[col1])
    return round(intersection / total * 100, 2) if total !=0 else 0.0

# 整理为结果表格
result_data = [(col1, col2, batch_calc_overlap((col1, col2))) for col1, col2 in col_pairs]
result = pd.DataFrame(result_data, columns=['df1_col', 'df2_col', 'overlap_rate']).pivot(index='df1_col', columns='df2_col', values='overlap_rate')

内容的提问来源于stack exchange，提问作者user22044679