如何按日期批量合并字典存储的多个Pandas DataFrame
多DataFrame按Date批量对齐合并实现方案
你之前使用pd.concat(df.values(), ignore_index=True)效果不符合预期,核心原因是该调用默认做纵向堆叠,且没有利用函数自带的索引对齐能力。无需逐表执行merge操作,仅需简单调整预处理逻辑,就能实现批量高效合并,哪怕字典里存储超过10个DataFrame也能快速处理。
核心实现逻辑
pd.concat本身支持多表按索引横向对齐,只要提前把所有子表的Date字段设为索引,就能自动匹配所有存在的日期、按要求填充缺失值,处理多表的运行效率远高于逐次merge。
可直接复用的代码
1. 基础可读性版本
先遍历字典中的所有DataFrame做统一预处理,再完成拼接:
import pandas as pd processed_dfs = [] for single_df in df_dict.values(): # 统一Date列格式,避免字符串格式差异导致对齐错位 single_df['Date'] = pd.to_datetime(single_df['Date'], format='%d/%m/%Y') # 将Date设为索引,为横向对齐做准备 single_df = single_df.set_index('Date') processed_dfs.append(single_df) # 沿列方向做外连接拼接:取所有出现过的日期,缺失值自动填充为NA newdateframe = pd.concat(processed_dfs, axis=1, join='outer') # 将索引转回普通的Date列,匹配最终输出结构 newdateframe = newdateframe.reset_index(names='Date')
2. 简洁单行版本
如果偏好更紧凑的写法,可通过列表推导式完成全流程处理:
newdateframe = pd.concat( [ # 对每个子表:转换Date格式 -> 设为索引 -> 移除原始Date列 d.assign(Date=pd.to_datetime(d['Date'], format='%d/%m/%Y')) .set_index('Date') .drop(columns='Date') for d in df_dict.values() ], axis=1, join='outer' ).reset_index(names='Date')
关键注意点
- 格式统一前置:务必先把所有子表的Date列转换为统一的datetime类型,否则字符串形式的日期会因格式差异(比如分隔符不同、年月日顺序不同)出现匹配错位。
- 缺失值自动适配:当某个日期在对应子表中无记录时,拼接后会自动在对应单元格填充
NaN,完全匹配示例中的NA效果。 - 列名冲突处理:如果多个子表存在同名字段,拼接时会自动按字典顺序生成带后缀的列名,不会出现列覆盖问题。
内容的提问来源于stack exchange,提问作者Michelle M
相关产品推荐
相关产品推荐

