如何无需自定义函数实现Pandas DataFrame智能合并更新？

假设你的两个DataFrame有唯一标识列（比如id，用于匹配同一动物条目），可以通过以下步骤实现需求，全程无需自定义函数：

步骤说明 #

1. 获取全量行与列：提取两个DataFrame中所有唯一的动物ID和所有列名，确保结果包含所有条目和元数据字段。
2. 索引对齐：将两个DataFrame重新索引到全量ID和列，保证行、列完全对齐。
3. 非空值覆盖更新：复制原始数据后，仅用更新数据中的非空值替换对应位置的原始值，同时保留所有行和列。

完整代码 #

import pandas as pd

# 示例数据（可替换为你的实际数据）
animals_df = pd.DataFrame({
    'id': [1, 2, 3],
    'name': ['猫', '狗', '兔子'],
    'age': [2, 5, 1],
    'weight': [3.2, 10.5, 1.8]
})

update_df = pd.DataFrame({
    'id': [2, 3, 4],
    'name': ['柴犬', None, '仓鼠'],
    'age': [6, None, 0.5],
    'color': ['黄色', '灰色', '白色']
})

# 1. 获取所有唯一的动物ID和列名
all_ids = pd.concat([animals_df['id'], update_df['id']]).unique()
all_columns = list(set(animals_df.columns).union(set(update_df.columns)))

# 2. 重新索引，对齐所有行和列
animals_reindexed = animals_df.set_index('id').reindex(index=all_ids, columns=all_columns)
update_reindexed = update_df.set_index('id').reindex(index=all_ids, columns=all_columns)

# 3. 复制原始数据，用更新数据的非空值覆盖
result = animals_reindexed.copy()
result.update(update_reindexed[update_reindexed.notna()])

# 重置索引，恢复id为普通列
result = result.reset_index().rename(columns={'index': 'id'})

print(result)

代码解释 #

• 全量行/列提取：通过concat+unique获取所有ID，用集合union获取所有列，确保没有遗漏任何条目或字段。
• 索引对齐：将id设为索引后，reindex会自动补充缺失的行和列，缺失值填充为NaN，保证两个DataFrame结构完全一致。
• 非空值覆盖：update方法会直接用右侧DataFrame的非空值替换左侧对应位置的值，完美匹配“仅当更新数据有值时才替换原始值”的需求；提前筛选update_reindexed.notna()避免用空值覆盖原始有效数据。

无唯一标识列的处理（可选） #

如果没有明确的唯一ID列，可以将所有列作为复合索引来匹配重复行：

# 将所有列设为复合索引
animals_idx = animals_df.set_index(list(animals_df.columns))
update_idx = update_df.set_index(list(update_df.columns))

# 获取全量索引（所有唯一行）
all_rows = animals_idx.index.union(update_idx.index)

# 重新索引并合并
animals_reindexed = animals_idx.reindex(all_rows)
update_reindexed = update_idx.reindex(all_rows)

result = animals_reindexed.copy()
result.update(update_reindexed[update_reindexed.notna()])

# 重置索引恢复原始列结构
result = result.reset_index()

内容的提问来源于stack exchange，提问作者iDevPy