高效实现DataFrame区间匹配的代码优化咨询

问题背景 #

现有两个Pandas DataFrame：

• ip_address_to_clean：54213行×1列，仅含IP_Address_clean列，存储待匹配的IP数值；
• ip_boundaries_file：138846行×3列，包含country、lower_bound_ip_address_clean、upper_bound_ip_address_clean列，存储IP区间与对应国家的映射关系。

需求是把ip_address_to_clean里的每个IP值，替换成它所在区间对应的国家；原实现用嵌套for循环（约54k×139k次迭代），速度极慢，需要优化。

优化方案：利用Pandas向量化/区间匹配工具 #

嵌套循环的时间复杂度是O(n*m)，完全没发挥Pandas的优势，下面两种方法都是O(n log m)或线性复杂度，速度提升显著。

方法1：使用merge_asof（通用高效，支持非连续区间）

merge_asof是Pandas专门用来做按最近键匹配的工具，结合区间过滤可以完美解决这个问题，核心是利用二分查找减少匹配次数。

步骤代码：

import pandas as pd

# 1. 对区间表按lower_bound排序（merge_asof要求右表必须按匹配键排序）
ip_boundaries_sorted = ip_boundaries_file.sort_values('lower_bound_ip_address_clean').reset_index(drop=True)

# 2. 对待匹配IP表按IP值排序（merge_asof要求左表也按匹配键排序，保证匹配逻辑正确）
ip_to_clean_sorted = ip_address_to_clean.sort_values('IP_Address_clean').reset_index(drop=True)

# 3. 用merge_asof匹配每个IP对应的"最后一个小于等于它的lower_bound"的区间
matched = pd.merge_asof(
    ip_to_clean_sorted,
    ip_boundaries_sorted,
    left_on='IP_Address_clean',
    right_on='lower_bound_ip_address_clean',
    direction='backward'
)

# 4. 过滤出IP确实在区间upper_bound内的有效匹配
matched_valid = matched[matched['IP_Address_clean'] <= matched['upper_bound_ip_address_clean']]

# 5. 合并回原表，恢复原顺序，无匹配的IP保留原值
result = ip_address_to_clean.merge(
    matched_valid[['IP_Address_clean', 'country']],
    on='IP_Address_clean',
    how='left'
)
result['IP_Address_clean'] = result['country'].fillna(result['IP_Address_clean'])
result = result.drop('country', axis=1)

方法2：使用pd.cut（适合无重叠、连续区间）

如果你的IP区间是无重叠且连续覆盖的（或允许超出区间的IP标记为未知），用pd.cut分箱匹配速度更快，纯向量化操作。

步骤代码：

import pandas as pd

# 先对区间表按lower_bound排序
ip_boundaries_sorted = ip_boundaries_file.sort_values('lower_bound_ip_address_clean')

# 生成分箱边界：第一个lower_bound + 所有upper_bound + 无穷大（处理超出最大区间的IP）
bins = [ip_boundaries_sorted['lower_bound_ip_address_clean'].iloc[0]] + \
       list(ip_boundaries_sorted['upper_bound_ip_address_clean']) + \
       [float('inf')]

# 生成对应国家标签，最后一个标签对应超出区间的情况（可自定义，比如'Unknown'）
labels = list(ip_boundaries_sorted['country']) + ['Unknown']

# 分箱匹配，直接替换原列
ip_address_to_clean['IP_Address_clean'] = pd.cut(
    ip_address_to_clean['IP_Address_clean'],
    bins=bins,
    labels=labels,
    include_lowest=True,  # 包含最左边界
    right=True  # 区间为[lower, upper]，符合IP <= upper_bound的要求
)

原代码的问题总结 #

1. 嵌套循环完全脱离Pandas向量化特性，时间复杂度爆炸；
2. 直接用ip_address_to_clean_copy['IP_Address_clean'][i]修改值属于链式索引，效率极低还可能触发SettingWithCopyWarning。

内容的提问来源于stack exchange，提问作者Syed Aawaiz Ashraf