pandas按列匹配为DataFrame空列填充值的最优实现方法

针对该场景，基于哈希映射的列值替换是性能最高、代码冗余最少的实现方式，无需对两个DataFrame做全表合并操作，核心逻辑如下：

• 从参考表df构建c2到c1的映射字典：利用set_index直接把c2设为索引、取出c1列转成字典，该操作是O(n)时间复杂度的线性遍历，匹配效率为O(1)，远高于表连接的匹配效率。
• 基于c2列的匹配关系，直接替换df2中目标空值的c1列，全程不会生成临时宽表，也不会产生列名冲突的清理成本。

核心实现代码 #

# 构建c2与c1的映射关系
c2_to_c1 = df.set_index("c2")["c1"].to_dict()

# 替换df2的空c1值（当前场景下所有c1均为空字符串，可直接映射）
df2["c1"] = df2["c2"].map(c2_to_c1)

注意：如果参考表df中存在同一c2值对应多个不同c1值的情况，需要先按c2分组去重（保留目标关联的c1值）再生成映射字典，避免出现键值覆盖的问题。

运行上述代码后，df2的c1列值将完全符合预期：依次为v5、v2、v1、v2、v3。

适配混合场景的扩展写法 #

如果后续df2的c1列不全为空，存在部分已经填充好的非空值，只想替换空字符串的条目，可通过条件索引缩小替换范围：

# 仅替换c1为空字符串的行，保留原有非空值
empty_c1_mask = df2["c1"] == ""
df2.loc[empty_c1_mask, "c1"] = df2.loc[empty_c1_mask, "c2"].map(c2_to_c1)

方案优势 #

• 内存开销小：不需要将两个表做merge生成包含重复列的临时宽表，仅在内存中存储轻量的映射字典，在大数据量场景下性能优势显著。
• 逻辑无冗余：不需要处理合并后c1列重名（如c1_x/c1_y）的清理步骤，直接完成目标值替换。
• 维护性高：映射关系独立存储，后续如果需要调整匹配规则可直接修改字典，无需改动主流程代码。

内容的提问来源于stack exchange，提问作者Vadim Katsemba