Python Pandas留存分析日期展开触发MemoryError解决咨询

原代码触发MemoryError的根源是全量数据一次性加载带来的多份冗余内存拷贝：

• 逐行调用pd.date_range生成的列表，会把每个用户覆盖的所有日期以Timestamp对象形式驻留内存，本身就会占用数GB空间
• 执行explode时，pandas会完整拷贝全量长表数据，此时原始DataFrame、日期列表、explode后的长表三份数据同时占用内存
• 长周期业务场景下，最终生成的长表行数可能达到原始数据的上百倍，16GB内存很容易被占满

基础优化（适配16GB内存，无需额外依赖） #

核心思路是通过分块处理把内存占用从“全量数据大小”降到“单块数据大小”，同时用numpy向量操作代替逐行的日期生成，减少冗余对象开销：

• 读取CSV时提前指定字段类型，避免pandas自动推断类型带来的冗余开销
• 每块处理完成后立即追加写入目标CSV，全程不把全量长表加载进内存
• 用整数化的日期偏移计算代替逐行生成date_range，大幅降低临时对象的内存占用

可直接运行的优化代码：

import pandas as pd
import numpy as np

# 配置参数
INPUT_CSV = "你的输入CSV路径"
OUTPUT_CSV = "生成的留存全量表路径"
DEFAULT_CANCEL_DT = "2021-02-11"
# 每块读取的原始数据行数，可根据内存负载调整
CHUNKSIZE = 50000

header_written = False

# 逐块读取原始数据
for chunk in pd.read_csv(
    INPUT_CSV,
    chunksize=CHUNKSIZE,
    # 提前指定低内存类型，减少读入时的空间占用
    dtype={"UserID": np.int32}
):
    # 处理空取消日期
    chunk["CancelDt"] = chunk["CancelDt"].fillna(DEFAULT_CANCEL_DT)
    # 转为低占用的日期类型，代替默认的object类Timestamp
    chunk["InceptionDt"] = pd.to_datetime(chunk["InceptionDt"]).dt.normalize()
    chunk["CancelDt"] = pd.to_datetime(chunk["CancelDt"]).dt.normalize()

    # 计算每个用户的存续天数
    chunk["duration"] = (chunk["CancelDt"] - chunk["InceptionDt"]).dt.days + 1

    # 生成重复索引和日期偏移，用numpy广播代替逐行date_range
    repeat_idx = np.repeat(chunk.index.values, chunk["duration"].values)
    date_offset = np.concatenate([np.arange(n) for n in chunk["duration"].values])
    date_col = np.repeat(chunk["InceptionDt"].values, chunk["duration"].values) + date_offset.astype("timedelta64[D]")

    # 拼接生成长表，无冗余对象拷贝
    long_chunk = chunk.loc[repeat_idx].drop(columns=["InceptionDt", "CancelDt", "duration"]).reset_index(drop=True)
    long_chunk["DATE"] = date_col

    # 追加写入CSV
    long_chunk.to_csv(
        OUTPUT_CSV,
        mode="a",
        header=not header_written,
        index=False
    )
    header_written = True

进一步降内存的技巧 #

• 对取值有限的分类字段（比如渠道、产品类型），提前转成category类型，内存占用可降低80%以上
• 数据量极大时可将分块大小降到1万-2万行，单块内存占用通常不超过200MB
• 不要在处理流程中留存任何全量数据的中间拷贝，处理完的块直接落盘

• 本次任务为纯日期展开的CPU计算场景，RTX 2070S显卡无有效加速收益，依赖GPU加速的cuDF等库需要额外的环境配置，成本远高于CPU分块处理的收益
• AMD 3800X的多核性能完全可以支撑该任务的算力需求，默认单线程处理已经足够，不需要额外的并行优化

内容的提问来源于stack exchange，提问作者haredev