Pandas中基于ID匹配与数值区间条件高效为df1新增df2列的优化方案咨询

你的逐行遍历方法效率低主要有两个核心原因：

• iterrows()是纯Python层面的逐行迭代，pandas对这类操作的优化极差，数据量越大速度越慢；
• 每次循环都要对df2做切片筛选，这是O(n)级别的耗时操作，3万次循环累积下来的时间成本极高。

下面是几种更高效的向量化实现方案，速度能提升几个数量级：

方案一：左连接+向量化条件判断 #

这是最直接高效的方法，利用pandas的merge做全量匹配，再用numpy的where完成批量条件判断：

import pandas as pd
import numpy as np

# 按id左连接df1和df2，保留df1的所有行
merged_df = df1.merge(df2, on='id', how='left')

# 用numpy.where批量判断：满足区间条件则取df2的new_column，否则设为NaN
merged_df['new_col'] = np.where(
    (merged_df['value'] > merged_df['min_value']) & (merged_df['value'] <= merged_df['max_value']),
    merged_df['new_column'],
    np.nan
)

# 保留原df1的列和新增的new_col
new_df1 = merged_df[df1.columns.tolist() + ['new_col']]

方案二：预处理df2后映射（适合df2中id唯一对应区间的场景） #

如果df2里每个id只对应一组min_value和max_value，可以先把df2转换成以id为索引的映射表，再做批量匹配：

# 构建id到(min_value, max_value, new_column)的映射表
id_map = df2.set_index('id')[['min_value', 'max_value', 'new_column']]

# 批量匹配并判断条件
def get_new_col(row):
    if row['id'] not in id_map.index:
        return np.nan
    mapping = id_map.loc[row['id']]
    return mapping['new_column'] if (mapping['min_value'] < row['value'] <= mapping['max_value']) else np.nan

df1['new_col'] = df1.apply(get_new_col, axis=1)
new_df1 = df1.copy()  # 直接在原df1上新增列，更节省内存

为什么这些方法更快？ #

• 向量化操作：pandas和numpy的底层逻辑是用C实现的，向量化操作能批量处理数据，彻底避免了Python层面逐行循环的开销；
• 减少重复计算：merge操作只做一次全量匹配，而不是像原来那样每次循环都重复筛选df2。

额外注意事项 #

如果df2中存在同一个id对应多个区间的情况，merge后可能会产生重复的df1行，此时可以通过分组去重保留有效结果：

# 在方案一的基础上，分组保留每个原df1行的第一个有效new_col
new_df1 = merged_df.groupby(df1.columns.tolist())['new_col'].first().reset_index()

内容的提问来源于stack exchange，提问作者ILikeToCode