如何用Pandas实现带范围匹配的DataFrame合并并保留AlphaDF全量行？

核心需求明确：

• 必须保留AlphaDF的每一行
• 仅当同时满足以下条件时，才合并BetaDF的对应数据：
  • alpha_id完全匹配
  • AlphaDF的start_point ≥ BetaDF的range_start
  • AlphaDF的end_point ≤ BetaDF的range_end

推荐方案：先匹配再左连接（高效且准确） #

思路是先筛选出所有符合条件的匹配对，再通过左连接将结果合并回原AlphaDF，确保不会丢失任何行。

步骤1：模拟样本数据（方便测试验证） #

import pandas as pd
import numpy as np

# AlphaDF 样本
AlphaDF = pd.DataFrame({
    'alpha_id': [1, 1, 2, 3],
    'start_point': [5, 15, 3, 25],
    'end_point': [10, 20, 7, 30],
    'alpha_col1': ['A', 'B', 'C', 'D']
})

# BetaDF 样本
BetaDF = pd.DataFrame({
    'alpha_id': [1, 1, 2, 4],
    'range_start': [0, 14, 5, 1],
    'range_end': [12, 22, 9, 5],
    'beta_col1': ['X', 'Y', 'Z', 'W']
})

步骤2：筛选所有满足条件的匹配对 #

# 先按alpha_id合并，再用query过滤区间条件
matched_pairs = AlphaDF.merge(BetaDF, on='alpha_id').query(
    'start_point >= range_start and end_point <= range_end'
)

步骤3：左连接回原AlphaDF，保留全量行 #

# 以AlphaDF的所有列为连接键，确保原行全部保留
final_df = AlphaDF.merge(matched_pairs, on=AlphaDF.columns.tolist(), how='left')

最终结果示例：

处理一对多匹配的情况 #

如果一个Alpha行对应多个满足条件的Beta行，上述代码会生成重复行。若需每个Alpha行仅保留一个匹配项（比如取range_start最小的），可增加分组去重步骤：

# 按AlphaDF的列分组，取每个组的第一个匹配项（可根据需求调整排序规则）
matched_pairs = matched_pairs.sort_values('range_start').groupby(AlphaDF.columns.tolist()).first().reset_index()
final_df = AlphaDF.merge(matched_pairs, on=AlphaDF.columns.tolist(), how='left')

为什么你的向量化操作会丢行？ #

大概率是你直接对合并后的结果做了过滤（相当于内连接），而没有通过左连接把原AlphaDF中不满足条件的行补回来。本方案先筛选匹配对再左连接，完美解决了这个问题。

性能优势 #

该方案完全基于Pandas内置的向量化操作，比嵌套循环效率高几个数量级——数据量越大（万行以上），差距越明显。

内容的提问来源于stack exchange，提问作者donkey