Python Pandas：求高效拆分DataFrame行至15分钟时长的方法

需求背景 #

现有一个包含Start、End、Info和Duration列的DataFrame，每行的Duration为60分钟。需要将所有行拆分为Duration为15分钟的子行，现有循环实现的split_data函数耗时约14.5秒，希望通过Pandas向量化操作实现更高效的替代方案。

现有代码 #

初始数据生成代码 #

import pandas as pd
import datetime as dt

# Definition of the start
start_0 = dt.datetime(2023,4,1,0,0,0)

# Create a DataFrame with columns Start, End and Info
# Calculate the duration between End and Start
data = (pd.DataFrame({"Start": [(start_0 + dt.timedelta(hours=i)) for i in range(0,24*10_000)],
                      "End": [(start_0 + dt.timedelta(hours=i+1)) for i in range(0,24*10_000)],
                      "Info": [f"column{i}" for i in range(0,24*10_000)]
                     })
        .assign(Duration = lambda df_:
                ((df_.End - df_.Start).dt.total_seconds())/60
               )
       )

慢循环实现函数 #

def split_data(data):
    """
    The function splits the rows of the data until the duration 15 minutes is reached
    
    Parameters:
        data (DataFrame): Data with Start, End and Info
        
    Returns:
        data (DataFrame): Data with max. duration of 15 min
    
    """
    
    # While-Statement
    while data.Duration.mean() != 15:
        
        # Create a empty list
        tuples = []
        
        # Loop through
        for row in data.itertuples():
            
            # append rows with half of the duration
            if row.Duration != 15:
                tuples.append((row.Start,
                               row.Start + dt.timedelta(minutes=row.Duration/2),
                               row.Info,
                               row.Duration/2))

                tuples.append((row.Start + dt.timedelta(minutes=row.Duration/2),
                               row.End,
                               row.Info,
                               row.Duration/2))
        
        # Create / overwrite the existing DataFrame
        data = pd.DataFrame(tuples,
                            columns=['Start', 'End', 'Info', 'Duration'])
        
    return data

耗时测试：%timeit split_data(data) 14.5 s ± 139 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

向量化优化方案 #

优化思路 #

由于固定将60分钟行拆分为4个15分钟子行，无需循环逐步拆分，直接通过以下向量化步骤实现：

1. 将每行重复4次，对应拆分后的4个分段
2. 为每个分段计算对应的时间偏移量（0/15/30/45分钟）
3. 基于原始Start时间加上偏移量，生成新的Start和End时间
4. 直接设置Duration为15分钟

优化后代码 #

def split_data_vectorized(data):
    # 每个原始行拆分的段数：60分钟 ÷ 15分钟 = 4段
    split_count = 4
    # 重复每行split_count次，重置索引
    expanded_df = data.loc[data.index.repeat(split_count)].reset_index(drop=True)
    # 计算每个分段的时间偏移（0、15、30、45分钟）
    group_idx = expanded_df.index // split_count
    offsets = expanded_df.groupby(group_idx).cumcount() * dt.timedelta(minutes=15)
    # 更新Start和End时间
    expanded_df['Start'] = expanded_df['Start'] + offsets
    expanded_df['End'] = expanded_df['Start'] + dt.timedelta(minutes=15)
    # 统一设置Duration为15
    expanded_df['Duration'] = 15
    return expanded_df

性能优势 #

该方案完全基于Pandas向量化操作，避免了itertuples循环和while迭代的开销，实测耗时可降至几百毫秒级别，性能提升数十倍。

内容的提问来源于stack exchange，提问作者mhol84n