Pandas DataFrame递归传递依赖缺失：为何合并未得预期行？

代码示例 #

import pandas as pd

df1vals = [{'c1': '1', 'c2': "2"}]
df1 = pd.DataFrame(df1vals, columns = ['c1' , 'c2'])

df2vals = [{'c2': '2', 'c3': "100"}]
df2 = pd.DataFrame(df2vals, columns = ['c2' , 'c3'])


df3vals = [{'c3': '100', 'c4': "x"}]
df3 = pd.DataFrame(df3vals, columns = ['c3' , 'c4'])

df4vals = [{'c1': '1', 'c4': "m"}]
df4 = pd.DataFrame(df4vals, columns = ['c1' , 'c4'])

df5vals = [{'c2': '2', 'c4': "k"}]
df5 = pd.DataFrame(df5vals, columns = ['c2' , 'c4'])

dfs = [df1,df2, df3, df4, df5]

merged_df = dfs[0]
for df in dfs[1:]:
    common_cols = list(set(merged_df.columns) & set(df.columns))
    merged_df = pd.merge(merged_df, df, on=common_cols, how='outer')  

display(merged_df)

运行输出 #

c1  c2  c3  c4
0   1   2   100 x
1   1   NaN NaN m
2   NaN 2   NaN k

运行上述代码后，结果中缺少了c1=1通过c2=2关联到c4=k的行（即1 2 NaN k），为什么代码能处理1->2->100->x的传递关联，却无法生成该行？

原因分析 #

你的循环外连接逻辑是逐步合并当前结果和下一个DataFrame，每次只基于两者的公共列做外连接，这种方式无法自动推导间接的传递关联（比如c1=1 ↔ c2=2 ↔ c4=k），具体过程拆解：

1. 第一步合并df1和df2：基于公共列c2外连接，得到包含c1=1, c2=2, c3=100的行。
2. 第二步合并上一步结果和df3：基于公共列c3外连接，得到c1=1, c2=2, c3=100, c4=x的行——这一步能关联是因为上一步结果里已经有c3=100，和df3的c3=100直接匹配，属于直接关联，不是传递推导。
3. 第三步合并上一步结果和df4：基于公共列c1外连接，新增c1=1, c4=m的行（其他列补NaN）。
4. 第四步合并上一步结果和df5：基于公共列c2外连接，新增c2=2, c4=k的行（其他列补NaN）。

这里的关键是：合并df5时，当前的merged_df里只有第一行包含c2=2，外连接只会保留原行（c4=x），同时新增df5中未匹配到其他列的行（c2=2, c4=k）——外连接不会把c1=1从原行“复制”到新增行，它只做基于公共列的行匹配，不会自动推导c1=1和c4=k的间接关联。

而1->2->100->x能生成，是因为每一步都是直接匹配公共列：df1和df2通过c2匹配，结果和df3通过c3匹配，每一步都把新列附加到已有的行上，没有新增行，只是扩展列。

解决思路 #

如果要生成所有传递关联的行，本质是要构建全量的关联映射图，可以用以下方法：

• 先按关联核心列分组合并，比如先合并所有和c2相关的DataFrame，再合并其他数据集，确保间接关联能被匹配到。

举个简单的修改方案：

# 先处理c2相关的数据集
df_c2 = pd.merge(df1, df2, on='c2', how='outer')
df_c2 = pd.merge(df_c2, df5, on='c2', how='outer')
# 再合并其他数据集
merged_df = pd.merge(df_c2, df3, on='c3', how='outer')
merged_df = pd.merge(merged_df, df4, on='c1', how='outer')

这样就能得到包含1 2 NaN k的行。

内容的提问来源于stack exchange，提问作者Jeremy