如何合并索引相似但规模不同的两个pandas DataFrame？

嗨，我太懂这种卡壳的感觉了！当两个DataFrame的索引是有序状态但重复次数不一样时，普通的concat或join确实很难直接得到想要的结果——要么把重复索引的行乱对齐，要么丢失了原有的顺序关联。别慌，咱们分两种最常见的需求来解决：

需求1：按索引的出现顺序逐行匹配（保留各自重复次数） #

这种场景下，你希望同一个索引的第1次出现对应另一个DataFrame里该索引的第1次出现，第2次对应第2次，以此类推，没有匹配的行补NaN。

核心思路是给每个重复的索引添加组内序号，把原索引+序号作为复合键来合并，这样就能精准区分同一索引的不同实例：

import pandas as pd

# 构造示例数据（模拟你的场景）
df1 = pd.DataFrame({'value1': [1, 2, 3]}, index=['A', 'A', 'B'])
df2 = pd.DataFrame({'value2': [10, 20, 30, 40]}, index=['A', 'A', 'A', 'B'])

# 步骤1：把索引转为列，方便后续处理
df1 = df1.reset_index().rename(columns={'index': 'idx'})
df2 = df2.reset_index().rename(columns={'index': 'idx'})

# 步骤2：添加组内计数列——每个idx下的行从0开始计数
df1['seq'] = df1.groupby('idx').cumcount()
df2['seq'] = df2.groupby('idx').cumcount()

# 步骤3：用复合键（idx+seq）合并，选择outer保留所有行
merged_df = pd.merge(df1, df2, on=['idx', 'seq'], how='outer').set_index('idx')

print(merged_df)

运行后得到的结果会完美对齐每个索引的出现顺序：

value1  seq  value2
idx                    
A      1.0    0    10.0
A      2.0    1    20.0
A      NaN    2    30.0
B      3.0    0    40.0

需求2：获得重复索引的所有组合（笛卡尔积） #

如果你想要的是同一个索引下的所有行两两组合（比如A的2行和3行生成6条记录），那直接用merge按原索引连接即可：

merged_cartesian = pd.merge(df1.reset_index(), df2.reset_index(), on='index').set_index('index')

print(merged_cartesian)

结果会是所有可能的组合：

value1  value2
index             
A        1      10
A        1      20
A        1      30
A        2      10
A        2      20
A        2      30
B        3      40

为什么普通concat/join不行？ #

• concat默认按索引堆叠，但只会简单对齐索引值，不会区分同一索引的不同出现次数，导致NaN的位置不符合预期；
• join（包括df.join()）同样只基于索引值匹配，无法识别索引的重复顺序，所以没法精准对应每个实例。

内容的提问来源于stack exchange，提问作者Namey McNamo