按周期分组并计算连续行时间戳差值的更优方法

问题背景 #

现有如下包含周期（Period）与时间戳（time）的DataFrame：

import pandas as pd

period_df = pd.DataFrame({
                'Period': ['Period 1', 'Period 1', 'Period 1', 'Period 1', 'Period 1',
                           'Period 2', 'Period 2', 'Period 2', 'Period 2', 'Period 2'],
                'time': ['1900-01-01 05:01:00', '1900-01-01 05:01:00',
                         '1900-01-01 06:01:00',
                         '1900-01-01 06:01:00', '1900-01-01 06:31:00', '1900-01-01 06:01:00', '1900-01-01 06:01:00',
                         '1900-01-01 06:31:00',
                         '1900-01-01 06:31:00', '1900-01-01 07:31:00']})

需求：按Period分组，组内按time排序保证时序性，计算当前行与下一行的时间戳差值。目前已通过分组→排序→生成lead时间列→求差实现，询问是否有更优方法。

最优实现方案 #

你当前的思路本身合理，但可以通过合并步骤简化代码、提升效率，直接用groupby结合shift和diff的链式操作完成，无需单独生成lead列：

步骤1：转换时间戳类型（必须，否则无法计算时间差） #

period_df['time'] = pd.to_datetime(period_df['time'])

步骤2：分组排序后直接计算时间差 #

写法一：用apply链式处理

period_df['time_diff'] = period_df.groupby('Period')['time'].apply(
    lambda x: x.sort_values().diff(-1).abs()
)

写法二：先全局排序再分组求差（更高效）

# 先按Period和time全局排序，确保组内时序正确
period_df_sorted = period_df.sort_values(['Period', 'time'])
# 分组后计算当前行与下一行的时间差（diff(-1)取当前行减下一行，abs转为正值）
period_df_sorted['time_diff'] = period_df_sorted.groupby('Period')['time'].diff(-1).abs()

方案优势 #

• 代码更简洁：将排序和求差合并为连贯操作，减少中间变量
• 效率更高：避免单独生成lead列的额外内存开销，处理大数据集时优势明显
• 可读性强：逻辑直接对应需求，无需额外解释

结果说明 #

最终生成的time_diff列中，每组的最后一行会是NaN（无下一行可对比），这符合预期逻辑。

内容的提问来源于stack exchange，提问作者z star