如何在Pandas中按固定时长高效细分Datetime时间区间 替代低性能循环
场景与现存问题
- 基础数据:存储可用任务时间槽的Pandas DataFrame
chosen_data,包含3个字段:时间槽开始日期、结束日期、可用总时长 - 计算规则:固定任务时长参数
x=24h(通常为用户自定义输入),对每个可用时间槽按1小时步长滑动生成连续子区间:若单个可用槽总时长为100小时,则共生成100-24=76个严格匹配24小时时长的子区间,所有子区间统一存入新DataFrameresult,字段包含子区间开始日期、结束日期、对应时长 - 现存问题:当前采用嵌套for循环实现的逻辑虽能输出正确结果,但大规模数据集下运行耗时极长、性能极差,需要找到替代嵌套循环的高效实现方案
原有低效实现代码
import pandas as pd import numpy as np data = [['3/6/1999 5:00','3/8/1999 0:00',43],['3/8/1999 22:00','3/12/1999 19:00',93],['3/12/1999 22:00','3/21/1999 20:00',214],['3/22/1999 19:00','3/26/1999 3:00',80]] chosen_data = pd.DataFrame(data, columns = ['Start Date', 'End Date', 'Duration [Hours]']) chosen_data[['Start Date','End Date']] = chosen_data[['Start Date','End Date']].apply(pd.to_datetime) result = pd.DataFrame(columns=['Start Date','End Date', 'Duration [Hours]']) x = 24 # Task duration(normaly it's a user input variable) for i in chosen_data.index : fenetre = chosen_data.copy() num_subdiv = fenetre['Duration [Hours]'].loc[i] - x for j in range(int(num_subdiv)) : fenetre['Start Date'].loc[i] = fenetre['Start Date'].loc[i] + pd.to_timedelta(1, unit ='h') fenetre['End Date'].loc[i] = fenetre['Start Date'].loc[i] + pd.to_timedelta(x , unit ='h') result = result.append(fenetre.loc[i] , ignore_index= True) result['Duration [Hours]'] = (result['End Date'] - result['Start Date']) / pd.to_timedelta(1, unit = 'h')
性能瓶颈原因
原有实现的低效来自四个核心问题:
- 每次外层循环都对全量
chosen_data做完整copy(),产生无意义的内存开销 - 内层循环逐行通过
loc修改单元格值,在Python层面逐行执行操作,无法利用底层向量化计算能力 - 逐次调用
DataFrame.append()拼接结果,每次拼接都需要重建整个结果DataFrame,时间复杂度随结果量增长平方级上升 - 循环逻辑重复计算固定值,没有复用已有的字段信息
向量化高效实现
完全去掉嵌套for循环,利用Pandas/Numpy的底层批量计算能力,逻辑和原有实现100%对齐,性能可提升数十到上百倍:
import pandas as pd import numpy as np # 基础数据加载与类型转换(和原有逻辑保持一致) data = [['3/6/1999 5:00','3/8/1999 0:00',43],['3/8/1999 22:00','3/12/1999 19:00',93],['3/12/1999 22:00','3/21/1999 20:00',214],['3/22/1999 19:00','3/26/1999 3:00',80]] chosen_data = pd.DataFrame(data, columns = ['Start Date', 'End Date', 'Duration [Hours]']) chosen_data[['Start Date','End Date']] = chosen_data[['Start Date','End Date']].apply(pd.to_datetime) x = 24 # 任务时长参数 # 1. 计算每个原始时间槽需要生成的子区间数量 chosen_data['n_subdiv'] = chosen_data['Duration [Hours]'] - x # 过滤掉可用时长不足任务时长的无效槽 valid_slots = chosen_data[chosen_data['n_subdiv'] > 0].reset_index(drop=True) # 2. 按每个槽的子区间数批量重复对应行,避免逐行循环 expanded_rows = valid_slots.loc[valid_slots.index.repeat(valid_slots['n_subdiv'])].reset_index(drop=True) # 3. 批量生成所有1小时步长的时间偏移量 time_offsets = np.concatenate([np.arange(1, count + 1) for count in valid_slots['n_subdiv']]) # 4. 向量化批量计算所有子区间的开始、结束时间 expanded_rows['Start Date'] = expanded_rows['Start Date'] + pd.to_timedelta(time_offsets, unit='h') expanded_rows['End Date'] = expanded_rows['Start Date'] + pd.to_timedelta(x, unit='h') # 5. 整理最终结果 result = expanded_rows[['Start Date', 'End Date']].copy() result['Duration [Hours]'] = x # 所有子区间固定为x小时,无需重复计算
内容的提问来源于stack exchange,提问作者Keyser Soze
相关产品推荐
相关产品推荐

