Pandas中groupby与transform耗时过长：百万级数据分组时间差计算优化

针对你提到的百万行数据、14万+分组的场景，用groupby+transform确实会因为分组 overhead 过高导致耗时过长。这里分享几个更高效的优化方案，亲测能大幅提升速度：

方案1：聚合+映射（最简洁高效） #

先一次性计算每个分组的最小时间，再通过map将对应组的最小值映射到每一行，最后计算差值。这种方式避免了transform对每个组的广播操作，效率提升非常明显：

import pandas as pd

# 你的原始数据（示例）
df_test = pd.DataFrame({'group': {1:'A', 2:'A', 3:'A', 4:'A', 5:'B', 6:'B'}, 
                        'time' : {1:1, 2:3, 3:5, 4:23, 5: 7, 6: 12}})

# 步骤1：计算每个分组的最小时间
group_min_times = df_test.groupby('group')['time'].min()

# 步骤2：映射并计算差值
df_test['time_diff'] = df_test['time'] - df_test['group'].map(group_min_times)

如果你的time是datetime64[ns]类型，这个方法完全适用——Pandas的日期时间类型支持直接减法，结果会自动转为Timedelta类型。

方案2：聚合+合并（适合需要保留最小值列的场景） #

如果你需要在数据中保留每个分组的最小时间列，可以用merge代替map，性能和方案1接近：

group_min_times = df_test.groupby('group')['time'].min().reset_index(name='min_time')
df_test = df_test.merge(group_min_times, on='group')
df_test['time_diff'] = df_test['time'] - df_test['min_time']

方案3：NumPy底层操作（极致性能优化） #

如果对性能有极致要求，可以用NumPy的数组操作来实现，跳过Pandas的分组API overhead，适合超大规模数据：

import numpy as np

# 先按group排序，方便批量处理
df_sorted = df_test.sort_values('group').reset_index(drop=True)

# 获取分组的唯一标识和起始索引
groups = df_sorted['group'].values
unique_groups, group_indices = np.unique(groups, return_index=True)

# 提取每个分组的最小时间
min_times = df_sorted['time'].values[group_indices]

# 重复每个分组的最小时间，匹配原数据行数
repeated_mins = np.repeat(min_times, np.diff(np.append(group_indices, len(groups))))

# 计算差值
df_sorted['time_diff'] = df_sorted['time'].values - repeated_mins

# 恢复原数据的索引顺序（如果需要）
df_test = df_sorted.set_index(df_test.index).sort_index()

为什么这些方法更快？ #

groupby.transform('min')的核心问题是：它需要对每个分组单独计算最小值，再将结果广播到该组的所有行，当分组数量达到14万时，这种逐组操作的overhead会被放大。而我们的优化方案都是先一次性聚合所有分组的最小值，再通过哈希查找（map/merge）或批量数组操作将值对应到每行，时间复杂度从O(n*k)（k为分组数）降到了O(n)，性能提升非常显著。

内容的提问来源于stack exchange，提问作者Dan