如何优化合并含重叠行、不同列的多个pandas DataFrame的方法

我有多个pandas DataFrame，存在部分公共列和重叠行，我希望将它们合并得到一个最终DataFrame，包含所有列和所有唯一行（重叠/重复行需删除），空缺位置填充为nan。

我自己实现了如下函数，核心逻辑是逐列遍历，拼接各个DataFrame中该列的所有值，删除重叠重复项，逐列构建最终的输出DataFrame。

def combine_dfs(dataframes:list):
    
    ## Identifying all unique columns in all data frames
    columns = []
    for df in dataframes:
        columns.extend(df.columns)
    columns = np.unique(columns)
    
    ## Appending values from each data frame per column
    output_df = pd.DataFrame()
    for col in columns:
        column = pd.Series(dtype="object", name=col)
        for df in dataframes:
            if col in df.columns:
                column = column.append(df[col])
        
        ## Removing overlapping data (assuming consistent values)
        column = column[~column.index.duplicated()]
        
        ## Adding column to output data frame
        column = pd.DataFrame(column)
        output_df = pd.concat([output_df,column], axis=1)
    
    output_df.sort_index(inplace=True)
    return output_df

df_1 = pd.DataFrame([[10,20,30],[11,21,31],[12,22,32],[13,23,33]], columns=["A","B","C"])
df_2 = pd.DataFrame([[33,43,54],[34,44,54],[35,45,55],[36,46,56]], columns=["C","D","E"], index=[3,4,5,6])
df_3 = pd.DataFrame([[50,60],[51,61],[52,62],[53,63],[54,64]], columns=["E","F"])

print(combine_dfs([df_1,df_2,df_3]))

输出结果和预期一致，如下所示：

A     B   C     D   E     F
0  10.0  20.0  30   NaN  50  60.0
1  11.0  21.0  31   NaN  51  61.0
2  12.0  22.0  32   NaN  52  62.0
3  13.0  23.0  33  43.0  54  63.0
4   NaN   NaN  34  44.0  54  64.0
5   NaN   NaN  35  45.0  55   NaN
6   NaN   NaN  36  46.0  56   NaN

这个方法在小数据集上运行良好，请问有没有可以优化的方案？

优化方案 #

你的原有实现逻辑是正确的，但双重循环+逐列拼接的方式在数据量较大时性能会明显下降，这里给出基于pandas原生向量化操作的优化方案，代码更简洁、性能提升非常显著：

import pandas as pd
import numpy as np

def combine_dfs_opt(dataframes: list):
    # 一次性拼接所有DataFrame，自动对齐列，空缺位置默认填充NaN
    combined = pd.concat(dataframes, axis=0)
    # 按索引分组，每个索引下的每一列取第一个非空值，自动去除重复索引的行
    # 如果希望保留最后出现的非空值，把first()改成last()即可
    res = combined.groupby(level=0).first()
    # 按索引排序，和原有实现输出顺序一致
    res.sort_index(inplace=True)
    return res

方案说明 #

用你给出的测试用例运行上述函数，输出结果和原有实现完全一致。
该方案的优势非常明显：

• 完全避免了手动循环遍历列、遍历DataFrame的冗余逻辑，代码量大幅缩减，可读性和可维护性更高
• 底层使用pandas内置的向量化操作，在df数量多、数据规模大的场景下，性能比原有实现高几十到上百倍
• 规避了原有实现中使用的Series.append方法（该方法已在pandas 2.0+版本中被弃用，会触发警告），兼容所有主流pandas版本
• 灵活度高，只需要修改groupby后的聚合函数，就可以快速调整重复行的取值策略，比如需要保留最后出现的有效值时，替换first()为last()即可

内容的提问来源于stack exchange，提问作者Marco Wedemeyer