如何高效按条件将Table2的result值替换为Table1对应值？

针对大数据量场景，必须避免逐行遍历/iloc操作，改用Pandas的向量化关联与更新方法，以下两种方案都能高效处理：

方案1：合并（Merge）+ 条件更新 #

核心思路：先给Table1构造匹配Table2的键，再通过合并定位符合条件的行，最后批量更新。

import pandas as pd

# 示例数据
table1 = pd.DataFrame({
    'Column1': [1,5],
    'Column2': [4,7],
    'Column3': [3,6],
    'result': [111,222]
})

table2 = pd.DataFrame({
    'Column1': [1,5],
    'Column2': [4,7],
    'Column3': [4,40],
    'result': [333,444]
})

# 步骤1：给Table1添加辅助列，对应Table2的Column3匹配值（Table1.Column3 +1）
table1['match_Column3'] = table1['Column3'] + 1

# 步骤2：以复合键合并两个表，仅保留需要的字段
merged = table2.merge(
    table1[['Column1', 'Column2', 'match_Column3', 'result']],
    left_on=['Column1', 'Column2', 'Column3'],
    right_on=['Column1', 'Column2', 'match_Column3'],
    how='left',
    suffixes=('', '_from_t1')
)

# 步骤3：批量替换符合条件的result值，无匹配则保留原数据
table2['result'] = merged['result_from_t1'].fillna(merged['result'])

# 清理临时辅助列（可选）
table1.drop('match_Column3', axis=1, inplace=True)

方案2：复合索引映射（Set Index + Map） #

核心思路：将Table1的匹配条件设为复合索引，通过索引快速查找匹配值，批量更新Table2。

# 步骤1：给Table1设置复合索引，用于快速定位
t1_indexed = table1.set_index(['Column1', 'Column2', 'Column3'])['result']

# 步骤2：在Table2中构造匹配Table1的索引（Column3减1）
match_keys = table2.apply(lambda x: (x['Column1'], x['Column2'], x['Column3'] -1), axis=1)

# 步骤3：批量获取匹配值，无匹配则保留原result
table2['result'] = t1_indexed.reindex(match_keys).fillna(table2['result']).values

效率说明 #

• 两种方案都是向量化操作，依赖Pandas底层C实现的优化逻辑，比Python循环/iloc逐行操作快10~100倍；
• Merge和索引查找均为O(n)时间复杂度，适配百万级以上数据量；
• 避免了逐行条件判断的高时间损耗，完全适配大数据场景。

内容的提问来源于stack exchange，提问作者alex4994