Pandas如何自动拆分等长重叠DataFrame并支持便捷访问

核心优化思路 #

手动逐行编写切片代码维护成本高、重复计算多，处理大数据时效率极低。统一通过可配置参数的循环逻辑生成分片，用列表/字典集中存储所有分片，既支持任意窗口长度快速切换，也能便捷访问单个分片，同时减少重复计算提升运行速度。 #

具体实现代码 #

首先提前做基础数据预处理，避免每次切片重复做列筛选操作：

import pandas as pd

# 提前提取需要用到的列，减少重复计算
target_cols = ['time', 'sales-transaction']
df_processed = df_all_sales[target_cols].reset_index(drop=True)

配置分片参数，适配不同场景的窗口长度需求：

# 分片长度，修改该值即可适配12/24等不同分片大小需求
window_len = 12
# 滑动步长，当前逐行重叠的场景步长设为1
slide_step = 1

方式1：列表存储（适合批量遍历处理） #

计算总分片数后用列表推导式一次生成所有分片：

# 计算可生成的分片总数
slice_count = len(df_processed) - window_len + 1
# 生成所有分片，slices[0]对应原写法的df1，slices[1]对应df2，以此类推
slices = [
    df_processed.iloc[i:i+window_len] 
    for i in range(0, slice_count, slide_step)
]

访问方式：

• 取第N个分片（原命名的dfN）直接用slices[N-1]，比如取第一个分片写slices[0]
• 批量处理所有分片时直接循环遍历slices即可，无需手动枚举所有变量名

方式2：字典存储（适配原变量名访问习惯） #

如果需要保留df1/df2这类键名访问的习惯，用字典生成式存储：

slices_map = {
    f"df{i+1}": df_processed.iloc[i:i+window_len]
    for i in range(0, slice_count, slide_step)
}

访问方式：直接按键名取值即可，比如slices_map["df1"]、slices_map["df2"]，和原有手动定义变量的调用逻辑完全一致，无需修改后续业务代码。 #

性能说明 #

• 预处理阶段提前筛选目标列，避免每次切片重复构造DataFrame、筛选列的冗余操作，大数据量下运行速度比手动逐行写切片快数倍
• 生成的分片均为原DataFrame的视图，没有全量复制数据，内存占用极低
• 切换分片场景时仅需修改window_len参数即可，无需调整其他逻辑代码

内容的提问来源于stack exchange，提问作者displayjunky