如何基于月度新DataFrame增量更新动态字典？

核心思路 #

不用依赖全量历史数据集，只需要两步就能完成增量更新：

• 先把当月DataFrame处理成「Name: {Count: 当月出现次数, Age: 最新属性值,...}」的临时字典
• 用上月字典和这个临时字典做合并：累计Count数值，用当月数据覆盖Age等属性

具体实现代码 #

假设你的DataFrame包含Name、Age及其他属性列，直接看代码示例：

import pandas as pd

# 模拟上月留存的字典（比如1月的dic1）
last_month_dict = {
    "Alice": {"Count": 2, "Age": 25},
    "Bob": {"Count": 1, "Age": 30}
}

# 模拟当月的DataFrame（比如2月的df2）
current_df = pd.DataFrame({
    "Name": ["Alice", "Charlie", "Alice", "Bob"],
    "Age": [26, 28, 26, 31],
    # 其他属性列可以参照Age的方式处理，比如City=("City", "last")
})

# 第一步：处理当月DataFrame，生成临时更新字典
# 分组聚合：统计每个Name当月出现次数，取最后一行的属性值（保证是最新数据）
current_grouped = current_df.groupby("Name").agg(
    Count=("Name", "size"),
    Age=("Age", "last")
).reset_index()

# 转换为字典格式
current_temp_dict = current_grouped.set_index("Name").to_dict("index")

# 第二步：增量更新上月字典，生成当月新字典
new_dict = last_month_dict.copy()  # 复制上月数据，避免修改原字典

for name, current_data in current_temp_dict.items():
    if name in new_dict:
        # 累计Count，覆盖最新属性
        new_dict[name]["Count"] += current_data["Count"]
        new_dict[name].update({k: v for k, v in current_data.items() if k != "Count"})
    else:
        # 新增未出现过的Name条目
        new_dict[name] = current_data

# 输出最终更新后的字典
print(new_dict)

关键细节说明 #

• 处理当月DataFrame时，groupby+agg的组合确保同一个Name只保留最新的属性值，同时统计当月出现次数
• 更新时先复制上月字典，避免直接修改原始数据；已有Name累加Count并覆盖属性，新Name直接添加条目
• 不管当月DataFrame里同一个Name出现多少次，都能保证属性取最新值，次数准确累计

内容的提问来源于stack exchange，提问作者Derek