Python轨迹拆分函数优化请求：高频执行场景下性能提升

原函数通过逐行遍历判断时间间隔来拆分DataFrame，但这种循环方式在数千次执行时效率极低，以下是针对性的优化方案：

核心优化：用向量化操作替代逐行循环 #

Pandas的向量化API（diff、cumsum、groupby）比Python原生循环快几个数量级，直接用这些方法实现拆分逻辑：

import pandas as pd

def split_trajectories_opt(df):
    # 计算相邻记录的时间差，首行填充0避免触发拆分
    time_diff = df['time'].diff().fillna(pd.Timedelta(seconds=0))
    # 标记间隔超过30秒的位置，生成连续轨迹的分组ID
    split_trigger = time_diff > pd.Timedelta(seconds=30)
    group_ids = split_trigger.cumsum()
    # 按分组拆分，仅保留记录数>50的子DataFrame并重置索引
    return [
        group.reset_index(drop=True)
        for _, group in df.groupby(group_ids)
        if len(group) > 50
    ]

优化点说明： #

• 避免了iloc的多次调用：原循环里每次都用iloc访问行，这是Pandas里效率很低的操作，向量化计算一次性完成所有时间差的判断。
• 用groupby替代手动切片：groupby是Pandas优化过的分组逻辑，比手动维护count变量切片的方式更高效且代码更简洁。
• 列表推导式简化条件判断：直接在推导式里过滤长度符合要求的分组，减少了原函数里多层if的分支开销。

额外优化建议 #

1. 提前标准化时间列类型
   如果输入的DataFrame中time列还不是datetime类型，提前在外部统一转换，避免每次调用函数时重复执行类型转换：

   # 仅需执行一次的全局预处理
   df['time'] = pd.to_datetime(df['time'])
   

2. 移除不必要的索引重置
   如果业务逻辑不需要重置子DataFrame的索引，可以去掉reset_index(drop=True)，进一步减少开销：

   return [
       group
       for _, group in df.groupby(group_ids)
       if len(group) > 50
   ]
   

3. 批量处理替代单次调用
   如果是数千次处理不同的DataFrame，可以尝试把所有DataFrame合并成带标识列的大DataFrame，一次性完成拆分后再拆分回对应分组，减少函数调用的额外开销。

内容的提问来源于stack exchange，提问作者Guppy