使用Pandas的.where()与.mask()验证导出数据与配置文件匹配问题

核心思路 #

利用Pandas的矢量化操作实现高效对比，避免循环行/列的低效操作，同时保持与配置文件完全一致的DataFrame结构。

步骤与代码实现 #

假设配置文件数据为df_config，导出数据为df_export，两者均以相同的前两列为Multi Index：

import pandas as pd
import numpy as np

# 1. 对齐两个DataFrame的索引（确保结构完全匹配）
df_export_aligned = df_export.reindex(df_config.index)

# 2. 生成全局匹配掩码（标记所有匹配的单元格）
match_mask = df_config.eq(df_export_aligned)

# 3. 生成结果DataFrame：匹配显示<Match>，不匹配拼接对比字符串
result_df = pd.DataFrame(
    np.where(
        match_mask,
        '<Match>',
        'config: ' + df_config.astype(str) + ' | Export: ' + df_export_aligned.astype(str)
    ),
    index=df_config.index,
    columns=df_config.columns
)

关键优势 #

• 高效性：完全基于矢量化运算，比iterrows/apply快10~100倍，适配大数据量场景
• 无硬编码：自动适配所有列，无需指定列名
• 结构一致：结果DataFrame的索引、列顺序与df_config完全一致
• 清晰反馈：不匹配项直接展示配置值与导出值的对比信息

特殊情况处理（可选） #

如果导出数据存在缺失索引行（即配置中有但导出没有的行），可以单独标记：

# 定位导出数据中缺失的索引行
missing_rows = df_export_aligned.isna().all(axis=1)
# 替换这些行的所有列内容
result_df.loc[missing_rows] = 'config: {配置值} | Export: Missing'

内容的提问来源于stack exchange，提问作者Benjamin Soto-Roberts