You need to enable JavaScript to run this app. 如何按日期批量合并字典存储的多个Pandas DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

如何按日期批量合并字典存储的多个Pandas DataFrame

多DataFrame按Date批量对齐合并实现方案

你之前使用pd.concat(df.values(), ignore_index=True)效果不符合预期,核心原因是该调用默认做纵向堆叠,且没有利用函数自带的索引对齐能力。无需逐表执行merge操作,仅需简单调整预处理逻辑,就能实现批量高效合并,哪怕字典里存储超过10个DataFrame也能快速处理。

核心实现逻辑

pd.concat本身支持多表按索引横向对齐,只要提前把所有子表的Date字段设为索引,就能自动匹配所有存在的日期、按要求填充缺失值,处理多表的运行效率远高于逐次merge。

可直接复用的代码

1. 基础可读性版本

先遍历字典中的所有DataFrame做统一预处理,再完成拼接:

import pandas as pd

processed_dfs = []
for single_df in df_dict.values():
    # 统一Date列格式,避免字符串格式差异导致对齐错位
    single_df['Date'] = pd.to_datetime(single_df['Date'], format='%d/%m/%Y')
    # 将Date设为索引,为横向对齐做准备
    single_df = single_df.set_index('Date')
    processed_dfs.append(single_df)

# 沿列方向做外连接拼接:取所有出现过的日期,缺失值自动填充为NA
newdateframe = pd.concat(processed_dfs, axis=1, join='outer')
# 将索引转回普通的Date列,匹配最终输出结构
newdateframe = newdateframe.reset_index(names='Date')

2. 简洁单行版本

如果偏好更紧凑的写法,可通过列表推导式完成全流程处理:

newdateframe = pd.concat(
    [
        # 对每个子表:转换Date格式 -> 设为索引 -> 移除原始Date列
        d.assign(Date=pd.to_datetime(d['Date'], format='%d/%m/%Y'))
         .set_index('Date')
         .drop(columns='Date')
        for d in df_dict.values()
    ],
    axis=1,
    join='outer'
).reset_index(names='Date')

关键注意点

  • 格式统一前置:务必先把所有子表的Date列转换为统一的datetime类型,否则字符串形式的日期会因格式差异(比如分隔符不同、年月日顺序不同)出现匹配错位。
  • 缺失值自动适配:当某个日期在对应子表中无记录时,拼接后会自动在对应单元格填充NaN,完全匹配示例中的NA效果。
  • 列名冲突处理:如果多个子表存在同名字段,拼接时会自动按字典顺序生成带后缀的列名,不会出现列覆盖问题。

内容的提问来源于stack exchange,提问作者Michelle M

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 09:45:07