如何将逐变更记录转换为连续时序数据，避免Pandas处理时内存溢出

你提到的仅记录状态变更节点的原始数据，标准名称为状态变更点序列（State Change Point Sequence），也属于事件驱动时序数据的一种，专门用于稀疏二元状态场景下减少存储冗余。

现有方案内存溢出的原因 #

你当前的实现会先创建全量时间索引的空DataFrame，1年秒级数据约有3153万行，加上join操作的临时缓存开销，会提前占用90GB+内存，而实际最终存储的二元状态列占比极低，属于中间过程的无效开销导致的内存浪费。

优化方案 #

方案1：Pandas原生写法优化（无需修改逻辑） #

把join+ffill的写法替换为reindex直接填充，省掉中间空DataFrame和join操作的内存开销，内存占用可降低30%~40%：

# 提前确保索引为排序后的datetime类型
df = df.sort_index()
# 生成秒级完整时间索引，直接重索引+前向填充
full_idx = pd.date_range(start=df.index.min(), end=df.index.max(), freq='S')
df = df.reindex(full_idx, method='ffill')
# 补全首条记录之前的逆值
first_valid_pos = df['Status'].first_valid_index()
df['Status'] = df['Status'].fillna(1 - df.loc[first_valid_pos, 'Status'])

方案2：流式写入（无全量内存占用，最优解） #

因为原始数据只有状态变更点，完全不需要把全量连续时序加载到内存，直接按变更区间批量生成数据写入文件即可，内存占用仅和原始变更点数量有关，不会溢出：

import csv
from datetime import timedelta

# 提取有序的变更点列表
change_points = list(df.sort_index().itertuples(name=None))

# 流式写入目标文件
with open('continuous_status.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['DateTime', 'Status'])
    
    # 遍历每两个相邻变更点的区间
    for idx in range(len(change_points) - 1):
        current_dt, current_status = change_points[idx]
        next_dt = change_points[idx + 1][0]
        step = timedelta(seconds=1)
        # 逐秒写入当前区间的所有时间点
        while current_dt < next_dt:
            writer.writerow([current_dt.strftime('%Y-%m-%d %H:%M:%S'), current_status])
            current_dt += step
    # 写入最后一个变更点
    last_dt, last_status = change_points[-1]
    writer.writerow([last_dt.strftime('%Y-%m-%d %H:%M:%S'), last_status])

如果需要生成parquet等压缩格式，可替换为pyarrow的流式写入接口，写入速度更快、最终文件体积更小。

内容的提问来源于stack exchange，提问作者XiB