如何判定df1中时间点是否属于同ID在df2中对应的任意时间区间
实现方案(Python Pandas 环境)
第一步:时间字段预处理
首先统一两个表的时间格式,把df1的日期和时间拼接为完整的时间戳,所有时间字段转为pandas的datetime类型,避免字符串比较出错:
import pandas as pd # 预处理df1:拼接date和time为完整时间点 df1['datetime'] = pd.to_datetime(df1['date'] + ' ' + df1['time']) # 预处理df2:转换起止时间为datetime类型 df2['start'] = pd.to_datetime(df2['start']) df2['end'] = pd.to_datetime(df2['end'])
第二步:匹配判断
可根据你的数据量选择对应方案:
方案1:数据量较小场景(万级及以下)
直接按ID聚合区间,逐行判断即可,写法简单易调试:
# 先把df2按ID聚合,存储每个ID对应的所有时间区间 id_intervals = df2.groupby('ID').apply(lambda x: list(zip(x['start'], x['end']))).to_dict() # 定义判断逻辑:检查当前行时间是否落在对应ID的任意区间内 def check_in_interval(row): intervals = id_intervals.get(row['ID'], []) for start, end in intervals: if start <= row['datetime'] <= end: return 1 return 0 # 生成mark列 df1['mark'] = df1.apply(check_in_interval, axis=1) # 得到最终结果,可按需删除临时生成的datetime列 df1_new = df1.drop(columns=['datetime'])
方案2:数据量较大场景(十万级及以上)
用pandas的merge_asof做高效匹配,避免逐行遍历的性能损耗:
# merge_asof要求关联字段有序,先对两个表按ID和时间字段排序 df1_sorted = df1.sort_values(['ID', 'datetime']).reset_index(drop=True) df2_sorted = df2.sort_values(['ID', 'start']).reset_index(drop=True) # 按ID关联,匹配小于等于当前时间点的最大start时间 merged = pd.merge_asof( df1_sorted, df2_sorted, by='ID', left_on='datetime', right_on='start', direction='backward' ) # 判断匹配到的start对应的end是否大于等于当前时间点,是则标记1否则0 merged['mark'] = (merged['end'] >= merged['datetime']).astype(int) # 整理得到符合要求的最终结果 df1_new = merged[['ID', 'date', 'time', 'mark']].reset_index(drop=True)
提示:如果你的区间判断规则是左闭右开、左开右闭等,调整判断条件里的等号即可,两种方案都支持同一个ID下存在重叠区间的场景。
内容的提问来源于stack exchange,提问作者Sim
相关产品推荐
相关产品推荐

