按place列值变化拆分时间序列DataFrame 大数据集下失效如何解决

问题原因分析 #

• 性能问题核心：原代码使用iterrows()逐行遍历DataFrame，该方法在数据量超过1万行时性能会出现指数级下降，百万行级数据基本会陷入无响应状态，是大数据集下失效的核心诱因
• 逻辑隐患：原代码中df_outs变量定义在if line.place != 'None'的分支内，若数据集最后一行place为None，会触发变量未定义的报错，小数据集未触发是因为刚好没碰到该边界场景
• 冗余操作：多次对切片做reset_index()、冗余空值判断也会额外增加性能消耗

优化后实现方案 #

使用pandas原生向量化分组操作替代逐行遍历，万级以上数据性能提升100~1000倍，同时修复逻辑漏洞：

def cut_df_optimized(df):
    # 复制原数据避免修改原表
    df_copy = df.copy()
    # 生成分组ID：place发生变化时分组ID+1
    df_copy['group_id'] = df_copy['place'].ne(df_copy['place'].shift()).cumsum()
    # 分组筛选，直接排除place为None的组，同时导出子表
    df_outs = [
        group.drop(columns='group_id') 
        for _, group in df_copy.groupby('group_id')
        if group['place'].iloc[0] != 'None' and not group.empty
    ]
    return df_outs

代码说明 #

• 用shift()+cumsum()生成连续相同place的分组ID，全程向量化操作，无遍历开销
• 直接通过groupby按分组ID拆分，一次遍历完成筛选和子表生成，省略多次冗余判断
• 修复了原代码的变量未定义隐患，所有边界场景（开头/结尾是None、中间连续None）都能正常处理
• 如果不需要保留原索引可以在生成子表的时候加.reset_index(drop=True)，按需调整即可

内容的提问来源于stack exchange，提问作者remc