Python实现DataFrame时间区间判断并匹配对应行ID

基础前提 #

• 行程表df1字段：Id（行程唯一标识）、固定业务字段、time（行程开始时间）、travel_time、next_arrival_time（行程结束时间），[time, next_arrival_time]为闭合行程时间区间
• 轨迹表df2字段：truckdate（每2秒采集一次的车辆定位时间戳）
• 需求：为df2每一行的时间戳匹配所属行程区间对应的Id，新增列存储匹配结果，替代低效且易出错的嵌套循环逻辑。

嵌套循环方案运行失败通常是两类原因：一是时间字段未转为标准时间类型，字符串比较逻辑不符合时间先后规则；二是循环边界未覆盖无匹配行程的场景，容易触发死循环、索引越界问题。以下方案基于pandas向量化运算实现，时间复杂度为O(nlogn)，百万级数据可在秒级跑完。

实现步骤 #

1. 时间类型转换 （必须执行） #

所有参与时间比较的字段必须先转为pandas内置的datetime类型，否则会出现比较结果错误。

import pandas as pd

# 统一转换时间字段类型
df1['time'] = pd.to_datetime(df1['time'])
df1['next_arrival_time'] = pd.to_datetime(df1['next_arrival_time'])
df2['truckdate'] = pd.to_datetime(df2['truckdate'])

2. 按时间字段排序 #

排序是使用merge_asof做邻近匹配的强制要求。

df1 = df1.sort_values('time').reset_index(drop=True)
df2 = df2.sort_values('truckdate').reset_index(drop=True)

3. 邻近匹配+区间校验 #

先用merge_asof为每个轨迹点找到时间早于等于它的最近行程开始记录，再校验轨迹点是否落在该行程的结束时间之前，过滤无效匹配。

# 按时间邻近原则匹配最近的行程开始记录
matched_df = pd.merge_asof(
    left=df2,
    right=df1[['Id', 'time', 'next_arrival_time']],
    left_on='truckdate',
    right_on='time',
    direction='backward'
)

# 向量化判断轨迹点是否在闭合行程区间内，不满足则赋值为空
matched_df['match_trip_id'] = pd.NA
in_range_mask = matched_df['truckdate'] <= matched_df['next_arrival_time']
matched_df.loc[in_range_mask, 'match_trip_id'] = matched_df.loc[in_range_mask, 'Id']

# 删除匹配用的辅助列，得到最终结果
df2_final = matched_df.drop(columns=['time', 'next_arrival_time', 'Id'])

注意事项 #

• 如果业务需要左闭右开的区间判断，只需把区间校验的条件从<=改为<即可
• 如果df1存在行程时间区间重叠的情况，上述逻辑默认匹配开始时间最早的重叠行程，可根据业务需求提前对df1的重叠区间做拆分、去重处理
• 若需要保留未匹配到行程的轨迹点，结果中match_trip_id为空值的行即为无对应行程的记录，可直接过滤或单独处理
• 整段代码无逐行循环逻辑，不会出现索引越界、死循环问题，运行效率比嵌套循环高2~3个数量级

内容的提问来源于stack exchange，提问作者Rafael Alvarado Nuñez