Pandas技术实现：验证两DataFrame指定列元素出现次数是否一致

问题背景 #

给定两个DataFrame：
df1结构：

col1 
-----
1
1
1
2
3
1
1
2

df2结构：

colA | colB
------------
1    | 2
1    | 4
2    | 1
3    | 1
5    | 1
4    | 5

需求：验证df1中col1列每个元素的出现次数，与df2中colA和colB两列对应元素的总出现次数完全一致，一致则返回True，否则返回False。示例中df1的1出现5次、2出现2次、3出现1次，与df2中对应元素的总次数完全匹配，应返回True。

原代码问题分析 #

原尝试代码：

def records_check(df1, df2):
    if df1.groupby(['col1']).size() == df2.groupby(['colA', 'colA']).size():
        return True
    else:
        return False

报错ValueError: Can only compare identically-labeled Series objects，原因包括：

• df2的分组逻辑错误：groupby(['colA', 'colA'])是按同一列重复分组，完全没统计colB的元素
• 两组统计结果的索引（元素值）、元素范围完全不对齐，无法直接比较

高效实现方案（适配大数据场景） #

利用pandas底层优化的value_counts方法（比groupby更高效），结合内存友好的列合并操作，实现快速验证：

import pandas as pd

def records_check(df1, df2):
    # 统计df1中col1的元素频次并按索引排序
    cnt_df1 = df1['col1'].value_counts().sort_index()
    # 合并df2的colA和colB，统计总频次并按索引排序
    cnt_df2 = pd.concat([df2['colA'], df2['colB']], ignore_index=True).value_counts().sort_index()
    # 校验索引和对应频次是否完全匹配
    return cnt_df1.equals(cnt_df2)

方案说明 #

1. 高效统计：value_counts是pandas针对频次统计优化的方法，内部实现比groupby.size()更快，尤其适合大数据量场景
2. 索引对齐：通过sort_index()确保两个频次Series的索引顺序一致，避免因索引顺序不同导致的匹配失败
3. 完整校验：equals()方法会同时校验索引和对应值是否完全一致，覆盖两种边缘情况：
   • df1存在df2没有的元素（此时cnt_df2无对应索引，equals返回False）
   • df2存在df1没有的元素（此时cnt_df1无对应索引，equals返回False）
4. 内存友好：pd.concat合并两列时用ignore_index=True避免额外索引开销，适合处理大体积DataFrame

示例验证 #

运行上述函数，传入示例中的df1和df2，会返回True，符合预期需求。

内容的提问来源于stack exchange，提问作者NewUser