如何将字典中表头不统一的多个DataFrame合并为包含所有字段的统一数据表
解决方案
步骤1:统一清理所有DataFrame的列名
不同文件导出的表头大概率存在前后多余空格、大小写差异等问题,先做标准化处理可以避免语义相同的字段被识别为不同列:
import pandas as pd # 假设你存储DataFrame的字典名为 df_dict,字典的key为对应文件名 cleaned_df_list = [] for file_name, df in df_dict.items(): # 列名去除前后空格,若存在大小写不一致的场景可追加.str.lower()统一大小写 df.columns = df.columns.str.strip() # 可选操作:添加源文件名列,后续排查1500个文件的数据问题时方便溯源 df['source_file'] = file_name cleaned_df_list.append(df)
步骤2:合并所有DataFrame
直接使用pandas内置的concat方法即可实现列自动对齐,不存在的列会自动填充NaN,所有字段都会完整保留不会遗漏:
merged_df = pd.concat(cleaned_df_list, axis=0, ignore_index=True)
补充说明
- 合并完成后可执行
print(merged_df.columns)输出全量列名,核对所有字段是否都被保留 - 如果存在部分表头语义一致但字面不同的情况(比如部分文件用中文表头
估值时点、部分用英文Valuation Point),可以在列名清理步骤添加映射规则统一替换,示例:col_name_map = { '估值时点': 'Valuation Point', '定价逻辑': 'Pricing Logic' } df.rename(columns=col_name_map, inplace=True)
内容的提问来源于stack exchange,提问作者Alan Paul
相关产品推荐
相关产品推荐

