You need to enable JavaScript to run this app. 如何在Pandas中按固定时长高效细分Datetime时间区间 替代低性能循环
优惠活动
大模型
产品
解决方案
定价
更多

如何在Pandas中按固定时长高效细分Datetime时间区间 替代低性能循环

场景与现存问题
  • 基础数据:存储可用任务时间槽的Pandas DataFrame chosen_data,包含3个字段:时间槽开始日期、结束日期、可用总时长
  • 计算规则:固定任务时长参数x=24h(通常为用户自定义输入),对每个可用时间槽按1小时步长滑动生成连续子区间:若单个可用槽总时长为100小时,则共生成100-24=76个严格匹配24小时时长的子区间,所有子区间统一存入新DataFrame result,字段包含子区间开始日期、结束日期、对应时长
  • 现存问题:当前采用嵌套for循环实现的逻辑虽能输出正确结果,但大规模数据集下运行耗时极长、性能极差,需要找到替代嵌套循环的高效实现方案
原有低效实现代码
import pandas as pd
import numpy as np
data = [['3/6/1999 5:00','3/8/1999 0:00',43],['3/8/1999 22:00','3/12/1999 19:00',93],['3/12/1999  22:00','3/21/1999 20:00',214],['3/22/1999 19:00','3/26/1999 3:00',80]]
chosen_data = pd.DataFrame(data, columns = ['Start Date', 'End Date', 'Duration [Hours]'])
chosen_data[['Start Date','End Date']] = chosen_data[['Start Date','End Date']].apply(pd.to_datetime)

result = pd.DataFrame(columns=['Start Date','End Date', 'Duration [Hours]'])
x = 24 # Task duration(normaly it's a user input variable)
for i in chosen_data.index : 
    fenetre = chosen_data.copy()
    num_subdiv = fenetre['Duration [Hours]'].loc[i] - x    
    for j in range(int(num_subdiv)) :        
        fenetre['Start Date'].loc[i] = fenetre['Start Date'].loc[i] + pd.to_timedelta(1, unit ='h')
        fenetre['End Date'].loc[i] = fenetre['Start Date'].loc[i] + pd.to_timedelta(x , unit ='h')      
        result = result.append(fenetre.loc[i] , ignore_index= True)
        
result['Duration [Hours]'] = (result['End Date'] - result['Start Date']) / pd.to_timedelta(1, unit = 'h')
性能瓶颈原因

原有实现的低效来自四个核心问题:

  • 每次外层循环都对全量chosen_data做完整copy(),产生无意义的内存开销
  • 内层循环逐行通过loc修改单元格值,在Python层面逐行执行操作,无法利用底层向量化计算能力
  • 逐次调用DataFrame.append()拼接结果,每次拼接都需要重建整个结果DataFrame,时间复杂度随结果量增长平方级上升
  • 循环逻辑重复计算固定值,没有复用已有的字段信息
向量化高效实现

完全去掉嵌套for循环,利用Pandas/Numpy的底层批量计算能力,逻辑和原有实现100%对齐,性能可提升数十到上百倍:

import pandas as pd
import numpy as np

# 基础数据加载与类型转换(和原有逻辑保持一致)
data = [['3/6/1999 5:00','3/8/1999 0:00',43],['3/8/1999 22:00','3/12/1999 19:00',93],['3/12/1999  22:00','3/21/1999 20:00',214],['3/22/1999 19:00','3/26/1999 3:00',80]]
chosen_data = pd.DataFrame(data, columns = ['Start Date', 'End Date', 'Duration [Hours]'])
chosen_data[['Start Date','End Date']] = chosen_data[['Start Date','End Date']].apply(pd.to_datetime)
x = 24  # 任务时长参数

# 1. 计算每个原始时间槽需要生成的子区间数量
chosen_data['n_subdiv'] = chosen_data['Duration [Hours]'] - x
# 过滤掉可用时长不足任务时长的无效槽
valid_slots = chosen_data[chosen_data['n_subdiv'] > 0].reset_index(drop=True)

# 2. 按每个槽的子区间数批量重复对应行,避免逐行循环
expanded_rows = valid_slots.loc[valid_slots.index.repeat(valid_slots['n_subdiv'])].reset_index(drop=True)

# 3. 批量生成所有1小时步长的时间偏移量
time_offsets = np.concatenate([np.arange(1, count + 1) for count in valid_slots['n_subdiv']])

# 4. 向量化批量计算所有子区间的开始、结束时间
expanded_rows['Start Date'] = expanded_rows['Start Date'] + pd.to_timedelta(time_offsets, unit='h')
expanded_rows['End Date'] = expanded_rows['Start Date'] + pd.to_timedelta(x, unit='h')

# 5. 整理最终结果
result = expanded_rows[['Start Date', 'End Date']].copy()
result['Duration [Hours]'] = x  # 所有子区间固定为x小时,无需重复计算

内容的提问来源于stack exchange,提问作者Keyser Soze

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 23:06:03