Jupyter环境下Pandas处理10G大型CSV生成30分钟时间槽时内核崩溃问题

崩溃原因定位 #

• 10G大小的CSV全量加载到pandas时，经过类型转换后的内存占用通常是原文件的3-5倍，普通设备的可用内存无法承载全量数据
• 原有计算time_slot的手写逻辑会生成多份临时中间Series（分别计算分钟偏移、秒偏移），进一步推高内存峰值，最终触发系统内存保护机制，直接杀掉占用过高的Jupyter内核
• 粘贴的原有代码存在明显语法错误，能在小数据集运行的实际版本应为手写分钟取模的逻辑，这类手动计算的方式效率远低于pandas内置的时间处理方法

修正后的时间槽计算逻辑 #

使用pandas内置的时间向下取整功能替代手写算术运算，可减少60%以上的临时内存开销，逻辑更简洁：

• 若timestamp列已转换为datetime类型，直接执行：
  df['time_slot'] = df['timestamp'].dt.floor('30min').dt.strftime('%H:%M')
  • 效果示例：00:12:45自动归类为00:00，00:39:12自动归类为00:30，完全匹配每30分钟分槽的需求
• 转换timestamp列时一定要指定明确的时间格式，避免pandas自动推导的额外开销：
  df['timestamp'] = pd.to_datetime(df['timestamp'], format='%Y-%m-%dT%H:%M:%S')

大文件分块处理实现方案 #

绝对不要用默认的全量读取方式，改用分块逐行处理、逐块写入的模式，全程仅保留单块数据在内存中，不会出现内存溢出：

import pandas as pd

# 单块读取的行数，可根据自身内存大小调整（内存不足就调小，比如5万行/块）
CHUNKSIZE = 100_000
# 控制第一次写入时保留表头
is_first_chunk = True

for chunk in pd.read_csv(
    '你的10G大文件.csv',
    chunksize=CHUNKSIZE,
    # 读入时仅加载需要的列，跳过冗余列，大幅节省内存
    usecols=['timestamp', 'LAT', 'LON'],
    # 读入时直接解析timestamp格式，避免二次转换的内存开销
    parse_dates=['timestamp'],
    date_parser=lambda x: pd.to_datetime(x, format='%Y-%m-%dT%H:%M:%S'),
    # 优化数值列精度，比默认float64节省一半的数值内存
    dtype={'LAT': 'float32', 'LON': 'float32'}
):
    # 逐块生成time_slot字段
    chunk['time_slot'] = chunk['timestamp'].dt.floor('30min').dt.strftime('%H:%M')
    # 逐块追加写入输出文件，无需保留全量数据
    chunk.to_csv(
        '带time_slot的输出文件.csv',
        mode='a',
        header=is_first_chunk,
        index=False
    )
    is_first_chunk = False

额外内存优化技巧 #

• 处理完单块后如果不需要保留原始timestamp列，可及时删除释放内存：chunk.drop(columns=['timestamp'], inplace=True)
• 分块处理时优先关闭Jupyter里其他占内存的进程（比如之前加载了大文件的旧变量），进一步降低内存峰值

内容的提问来源于stack exchange，提问作者roger