Python Polars读取Parquet文件时内存分配失败问题求助

排查要点 #

• 检查Polars内存限制：Polars默认有内存管控机制，可通过pl.Config.get_memory_limit()查看当前限制，确认是否被手动设置过小；同时检查环境变量POLARS_MAX_MEMORY_BYTES是否存在不合理配置。
• 分析Parquet文件Schema：若存在大字段（如超长字符串、深层嵌套结构），Polars扫描时可能基于元数据预分配过量内存，可通过pl.scan_parquet(r'item_data_storage*.parquet').schema查看字段类型，或单独读取单个文件验证字段实际数据规模。
• 确认系统可用内存：即使机器总内存充足，也可能存在其他进程抢占内存、或进程级内存限制（如ulimit、cgroup配置），需用系统工具（Windows任务管理器、Linuxfree -h/top）确认当前进程的可用内存空间。

解决方法 #

• 分批次处理数据：避免一次性全量读取，可先用fetch(n)获取小批量数据测试，或基于业务字段（如时间、ID）拆分读取，处理完一批再加载下一批。
• 调整流式读取Chunk大小：collect(streaming=True)的默认Chunk可能过大，可手动设置更小的Chunk行数降低单次内存占用：

  pl.Config.set_streaming_chunk_size(5_000_000)  # 根据机器配置调整行数
  data = pl.scan_parquet(r'item_data_storage*.parquet').collect(streaming=True)
  

• 关闭内存映射：部分场景下内存映射会导致内存占用异常，可尝试禁用：

  data = pl.scan_parquet(r'item_data_storage*.parquet', use_memory_map=False).collect(streaming=True)
  

• 强制优化数据类型：若存在冗余大类型（如用Int64存储小范围数值），可自定义Schema强制转换为更紧凑的类型：

  custom_schema = {
      "user_id": pl.Int32,
      "price": pl.Float32,
      # 其他字段按需调整
  }
  data = pl.scan_parquet(r'item_data_storage*.parquet', schema=custom_schema).collect(streaming=True)
  

• 优化Parquet文件结构：合并小文件减少元数据处理开销，或按常用查询字段分区，仅读取所需分区数据。

内容的提问来源于stack exchange，提问作者Rakesh Chaudhary