Pandas如何实现idx1交叉连接、idx2内连接的混合表连接操作

方法1：pandas自连接（易读性最高） #

核心逻辑是通过指定idx2为连接键做自连接，自动满足idx2的内连接要求，相同idx2下的所有idx1会自动完成交叉匹配，后续过滤掉自配对和反向配对的行即可得到和示例完全一致的结果：

import pandas as pd

# 自连接，suffixes参数用来区分左右表同名字段
merged_df = df.merge(df, on="idx2", suffixes=("", "1"))
# 过滤仅保留左表idx1小于右表idx1的行，避免重复配对/自配对
result = merged_df[merged_df["idx1"] < merged_df["idx11"]].reset_index(drop=True)

如果你的需求需要保留所有交叉配对（包含反向、自配对），去掉上述过滤条件即可。

方法2：分组处理（更适合60万行大表，内存占用更低） #

利用你提到的「每个idx1对应的idx2取值完全一致」的特性，按idx2分组后在组内做小数据量的匹配，大幅降低内存开销：

def group_match(group):
    group_merged = group.merge(group, suffixes=("", "1"))
    return group_merged[group_merged["idx1"] < group_merged["idx11"]]

result = df.groupby("idx2", group_keys=False).apply(group_match).reset_index(drop=True)

极致性能优化方案 #

如果数据量过大出现内存溢出，可以先提取idx1唯一值做配对，再关联回原表取对应数值，避免全量数据两份拷贝的内存开销：

# 第一步：生成idx1的有效配对表，数据量极小
unique_idx1 = df["idx1"].drop_duplicates()
idx1_pairs = unique_idx1.merge(unique_idx1, how="cross", suffixes=("_l", "_r"))
idx1_pairs = idx1_pairs[idx1_pairs["idx1_l"] < idx1_pairs["idx1_r"]]

# 第二步：两次关联原表取对应Val，大幅减少join计算量
temp = idx1_pairs.merge(df, left_on="idx1_l", right_on="idx1")
result = temp.merge(
    df,
    left_on=["idx1_r", "idx2"],
    right_on=["idx1", "idx2"],
    suffixes=("", "1")
)[["idx1", "idx2", "Val", "idx11", "idx21", "Val1"]].reset_index(drop=True)

内容的提问来源于stack exchange，提问作者Zanam