如何用Pandas高效实现带区间匹配的跨格式表格合并？

方法一：将df2转长格式后做区间连接 #

这是最直观的Pythonic方案，先把df2的宽格式转为长格式，再通过分类匹配+区间筛选完成映射。

步骤说明： #

• 重塑df2结构：把按Zone拆分的列合并为Zone和映射值两列，保留Weight上下限。
• 关联匹配：通过merge结合布尔索引，筛选出Zone一致且Weight落在对应区间的记录。

代码示例： #

假设df2的初始结构如下：

第一步，转长格式：

import pandas as pd

# 把df2的宽格式转为长格式
df2_long = df2.melt(
    id_vars=['Weight_LB', 'Weight_UB'],
    var_name='Zone',
    value_name='Mapped_Value'
)
# 修正Zone列的命名（比如去掉前缀"Zone_"，确保和df1的Zone值一致）
df2_long['Zone'] = df2_long['Zone'].str.replace('Zone_', '')

第二步，匹配到df1：

# 先关联Zone，再筛选Weight区间
df_temp = df1.merge(df2_long, on='Zone', how='left')
# 根据需求调整区间开闭（这里用左闭右开）
df3 = df_temp[(df_temp['Weight'] >= df_temp['Weight_LB']) & (df_temp['Weight'] < df_temp['Weight_UB'])]

# 如果需要保留df1所有行（包括未匹配到的），可以添加匹配标识后再处理
df_temp['is_match'] = (df_temp['Weight'] >= df_temp['Weight_LB']) & (df_temp['Weight'] < df_temp['Weight_UB'])
df3 = df_temp.drop(columns=['is_match'])

方法二：使用pd.merge_asof（适用于有序无重叠区间） #

如果df2的Weight区间连续无重叠，且df1的Weight列可以排序，用merge_asof能大幅提升效率。

代码示例： #

# 对df1和转长后的df2按Weight相关列排序
df1_sorted = df1.sort_values('Weight')
df2_long_sorted = df2_long.sort_values('Weight_LB')

# 按Zone分组匹配，找到Weight对应的区间
df3 = pd.merge_asof(
    df1_sorted,
    df2_long_sorted,
    left_on='Weight',
    right_on='Weight_LB',
    by='Zone',
    direction='backward'  # 匹配最大的不超过Weight的LB
)
# 最后筛选Weight小于对应UB的记录
df3 = df3[df3['Weight'] < df3['Weight_UB']]

方法三：numpy向量化操作（超大数据集最优解） #

针对百万级以上的数据集，用numpy广播替代循环，直接计算匹配掩码，效率拉满。

代码示例： #

import numpy as np

# 转为numpy数组，方便广播计算
zone1 = df1['Zone'].values[:, np.newaxis]
weight1 = df1['Weight'].values[:, np.newaxis]
zone2 = df2_long['Zone'].values
lb2 = df2_long['Weight_LB'].values
ub2 = df2_long['Weight_UB'].values
values2 = df2_long['Mapped_Value'].values

# 生成匹配掩码：Zone一致 + Weight在区间内
mask = (zone1 == zone2) & (weight1 >= lb2) & (weight1 < ub2)

# 提取匹配值（假设每行最多匹配一个结果）
mapped_values = values2[mask.argmax(axis=1)]

# 生成df3
df3 = df1.copy()
df3['Mapped_Value'] = mapped_values

注意事项： #

• 确保每个df1的记录在df2中最多对应一个匹配的区间+Zone组合，如果存在多匹配，需要额外处理逻辑（比如取第一个/平均值）。
• 转长格式时，必须保证Zone列的取值和df1完全一致，否则会出现匹配失败。

内容的提问来源于stack exchange，提问作者Rishav Ganguly