求助：基于DataFrame的条件循环批量修正数据并输出变更记录

核心思路 #

先将df2的列名与目标值映射为字典，通过条件替换修改df1中不匹配的值，最后对比原始数据提取所有变更记录；若需逐行处理df2，可循环遍历df2每一行，分步执行替换并收集变更。

方式1：批量处理（高效推荐） #

适合大数据量场景，一次性完成所有列的替换，再统一提取变更记录：

import pandas as pd

# 1. 将df2转换为列名→目标值的映射字典
# 假设df2第一列名为'ColumnName'，存储df1的列名
change_map = df2.set_index('ColumnName')['ChangeValues'].to_dict()

# 2. 备份原始df1，用于后续对比变更
df1_original = df1.copy()

# 3. 批量替换所有不匹配的值
for col, target_val in change_map.items():
    # 仅替换列中不等于目标值的行
    df1.loc[df1[col] != target_val, col] = target_val

# 4. 提取所有变更记录并整理
# 生成变更掩码：标记哪些单元格发生了修改
changes_mask = df1 != df1_original
# 将变更数据转换为易读的长格式
df_changes = df1_original.where(~changes_mask).combine_first(df1).stack().reset_index()
df_changes.columns = ['客户行索引', '列名', '变更后值']
# 追加变更前值列
df_changes['变更前值'] = df1_original.stack().reset_index(level=1)[0].loc[df_changes[['客户行索引', '列名']].apply(tuple, axis=1)]

方式2：逐行处理df2（分步输出变更） #

若需要每处理完df2的一行就输出对应变更记录，可使用此方式：

import pandas as pd

# 备份原始数据，初始化当前处理的df
df1_original = df1.copy()
current_df = df1.copy()
# 用于存储所有变更记录的列表
all_changes = []

# 遍历df2的每一行
for idx, row in df2.iterrows():
    col_name = row['ColumnName']
    target_val = row['ChangeValues']
    
    # 筛选出当前列中需要修改的行
    mask = current_df[col_name] != target_val
    
    if mask.any():
        # 收集本次变更的记录
        change_records = current_df.loc[mask].reset_index()
        change_records['变更前值'] = current_df.loc[mask, col_name]
        change_records['变更后值'] = target_val
        change_records['处理列名'] = col_name
        all_changes.append(change_records[['index', '处理列名', '变更前值', '变更后值']])
        
        # 输出本次变更（可选）
        print(f"=== 处理列 {col_name} 的变更记录 ===")
        print(change_records[['index', '处理列名', '变更前值', '变更后值']])
    
    # 更新当前df为修改后的数据
    current_df.loc[mask, col_name] = target_val

# 合并所有变更记录为最终DataFrame
df_all_changes = pd.concat(all_changes, ignore_index=True)
df_all_changes.columns = ['客户行索引', '处理列名', '变更前值', '变更后值']

关键说明 #

• 替换逻辑：仅当df1列值与df2目标值不相等时才执行替换，完全符合跳过已匹配值的规则
• 变更记录：通过对比原始数据与修改后的数据，确保所有变更都被准确捕捉，无遗漏
• 效率对比：批量处理避免了多次循环df1，比逐行处理df1的效率更高，适合大规模数据集

内容的提问来源于stack exchange，提问作者B F