如何使用pandas合并同组内多对多关联的两个dataframe
两个带重复关联键的DataFrame按同组匹配合并方案
实现方案
你的需求本质是按公共关联键Item做等值连接,仅保留同Item组内的行匹配结果,不需要全量cross join,不同场景的实现方式如下:
1. Python Pandas 实现
直接使用pandas内置的merge方法,指定关联键为Item即可:
import pandas as pd # 构造示例表1 df1 = pd.DataFrame({ 'ID': [1,1,1,2,2,2], 'Item': ['apple','banana','lemon','apple','banana','lemon'], 'Price': [5,3,2,7,4,4] }) # 构造示例表2 df2 = pd.DataFrame({ 'Item': ['apple','apple','apple','banana','lemon','lemon'], 'state': ['TX','CA','NJ','CA','NY','PA'] }) # 按Item字段做等值内连接 res = pd.merge(df1, df2, on='Item', how='inner') # 按ID、Item排序可直接得到你要的输出格式 res = res.sort_values(by=['ID','Item'], ignore_index=True)
2. SQL 实现
使用带关联条件的内连接即可,不会出现全量笛卡尔积的无效匹配:
SELECT t1.ID, t1.Item, t1.Price, t2.state FROM dataframe1 t1 INNER JOIN dataframe2 t2 ON t1.Item = t2.Item ORDER BY t1.ID, t1.Item;
原理解释
全量cross join是两个表所有行两两匹配,会出现apple匹配lemon这类错误结果,而带上Item等值关联条件的连接,只会保留两个表中Item取值一致的行的匹配结果,正好实现你要的「同组内执行关联匹配」的要求。
内容的提问来源于stack exchange,提问作者Jammy
相关产品推荐
相关产品推荐

