Python Pandas：大数据集基于修正文件批量改值的高效方案

我有一个大型Dataset，需要修正其中的特定值。为此制作了包含多条件与对应修正值的修正文件（示例如下）。目前通过遍历修正文件的每一行，使用df.loc按条件定位修改df的Value1字段，但哪怕只有100行修正文件，运行速度也很慢，请问有没有更高效的实现方法？

修正文件示例 #

当前实现代码 #

for index, val in KORR.iterrows():
    df.loc[(df.Cond1==val.iloc[0])&(df.Cond2==val.iloc[1])&(df.Cond3==val.iloc[2]),"Value1"]=val.iloc[3]

高效实现方案 #

别用iterrows()逐行遍历，这种操作在大数据集上效率极低。推荐用合并+批量更新的方式，步骤如下：

1. 给原数据集和修正文件的条件列设置统一索引

# 给原df设置多条件组合索引
df = df.set_index(['Cond1', 'Cond2', 'Cond3'])
# 给修正文件设置相同索引，仅保留需要更新的Value1列
korr_indexed = KORR.set_index(['Cond1', 'Cond2', 'Cond3'])['Value1']

2. 用update()方法批量完成修正

df.update(korr_indexed)

3. 若需要恢复原数据集的索引结构，执行：

df = df.reset_index()

方案优势 #

• 基于Pandas向量化操作，避免逐行循环，速度能提升几十甚至上百倍
• 代码简洁，逻辑清晰，无需手动拼接复杂的条件判断

注意事项 #

• 确保修正文件与原数据集的条件列（Cond1/Cond2/Cond3）列名、数据类型完全一致，否则会匹配失败
• 原数据集中不存在的条件组合，update()会自动忽略对应的修正规则，不会影响其他数据

内容的提问来源于stack exchange，提问作者Mike