合并Pandas DataFrame时如何合并delta_x与delta_y列并覆盖NaN？

场景说明 #

• 手头两个不同行数的DataFrame，需要基于公共列conId执行左连接合并
• 两表除了匹配列conId外，仅有的同名字段是delta
• 当前使用的合并代码为pf.merge(greek,on='conId',how='left')，合并完成后系统自动生成delta_x（来自左表pf）、delta_y（来自右表greek）两个后缀列，需要将两列整合为单列delta，同时明确空值覆盖规则

实现方案 #

核心利用pandas的combine_first方法实现逐行非空值优先的填充逻辑，不会出现非空单元格被意外覆盖的问题。

基础实现（左表值优先，空值用右表值补） #

1. 在合并结果上生成新的单列delta：

   # 逐行取值：优先保留delta_x的原有值，当delta_x为NaN时，自动取对应行的delta_y值填充
   merged_df['delta'] = merged_df['delta_x'].combine_first(merged_df['delta_y'])
   

2. 删除生成的冗余后缀列：

   merged_df = merged_df.drop(columns=['delta_x', 'delta_y'])
   

自定义空值覆盖逻辑 #

可以根据实际业务需求调整取值优先级：

• 如果需要右表匹配值优先：将combine_first的两个参数互换即可，即merged_df['delta'] = merged_df['delta_y'].combine_first(merged_df['delta_x'])，此时只要右表匹配到非空delta值，就会覆盖左表原有值，仅当右表值为空时保留左表值
• 如果需要按特定规则触发覆盖（而非仅NaN触发）：可以配合where方法自定义判断条件，例如仅当左表delta为0时，才用右表值替换：

  # 保留delta_x中非0的原值，当delta_x为0时，用delta_y的值替换
  merged_df['delta'] = merged_df['delta_x'].where(merged_df['delta_x'] != 0, merged_df['delta_y'])
  

更简洁的前置处理方案 #

也可以在合并前临时重命名右表的delta列，从根源上避免生成delta_x/delta_y后缀列：

# 临时重命名右表的delta列，避免合并时触发同名列后缀生成
merged_df = pf.merge(
    greek.rename(columns={'delta': 'delta_greek'}),
    on='conId',
    how='left'
)
# 直接生成最终delta列
merged_df['delta'] = merged_df['delta'].combine_first(merged_df['delta_greek'])
# 删除临时列
merged_df = merged_df.drop(columns=['delta_greek'])

内容的提问来源于stack exchange，提问作者Joan Arau