Pandas内连接结果行数远超两张原表，求助问题排查

核心误解纠正 #

你对inner join的理解有误：inner join的行数不一定不超过任一原表。只有当连接键在两张表中都是唯一值时，inner join的结果行数才会≤较小的表；如果连接键在某张或两张表中存在重复值，会触发笛卡尔积式匹配——即表A中某个连接键值出现n次，表B中同一个值出现m次，匹配后会生成n×m行该值的记录，最终总行数可能远超两张原表。

你的情况为什么行数暴增 #

你的两张表中，C_LATITUDE字段存在大量重复值：

• df里的79972行中，多个行共享同一个C_LATITUDE值
• df1的834万+行中，同样有大量重复的C_LATITUDE值

两者做inner join时，每个重复的C_LATITUDE值都会互相匹配，最终累加出4500万+行的结果，这是符合inner join逻辑的，不是代码bug。

错误去重的原因 #

你之前的去重操作得到8000行，是因为直接对连接结果按C_LATITUDE去重，相当于只保留了每个C_LATITUDE对应的1条记录，丢失了df中原本的重复C_LATITUDE对应的行，这显然不符合你的业务需求。

解决步骤 #

1. 先排查连接键的重复情况 #

先确认两张表中C_LATITUDE的重复分布，用以下代码：

# 查看df中C_LATITUDE的重复次数统计
print(df['C_LATITUDE'].value_counts().describe())
# 查看df1中C_LATITUDE的重复次数统计
print(df1['C_LATITUDE'].value_counts().describe())

通过输出的均值、最大值等指标，你能看到哪些C_LATITUDE值重复最严重。

2. 根据业务需求选择正确的合并方式 #

你需要先明确：想让df的每一行匹配df1中对应C_LATITUDE的所有行，还是某一行/聚合后的数据？

• 如果是前者：当前的合并结果是正确的，只是行数多，你需要考虑是否需要后续过滤或处理，而不是去重。
• 如果是后者（更常见的需求）：先对df1进行去重或聚合，再合并：
  • 方式一：对df1按C_LATITUDE去重，保留每个值的第一条记录

    df1_dedup = df1.drop_duplicates(subset='C_LATITUDE', keep='first')
    merged_df = df.merge(df1_dedup, on='C_LATITUDE', how='inner')
    

  • 方式二：对df1按C_LATITUDE聚合（比如取其他列的均值/最大值等，根据你的需求调整）

    # 示例：对df1的其他列按C_LATITUDE取均值，你可以替换成自己需要的聚合逻辑
    df1_agg = df1.groupby('C_LATITUDE').agg(
        col1_mean=('你的列名1', 'mean'),
        col2_max=('你的列名2', 'max')
    ).reset_index()
    merged_df = df.merge(df1_agg, on='C_LATITUDE', how='inner')
    

内容的提问来源于stack exchange，提问作者Sukhi296