Docker中Rust+Polars处理大数据集时OOM问题排查求助

问题背景 #

使用Rust v1.77.0 + Polars 0.38.3（启用lazy、streaming、parquet特性），在内存限制为6GB的Docker容器（配置--memory=20gb、--shm-size=20gb）中处理20GB Parquet数据集时触发OOM错误。

工作流：

1. 用scan_parquet加载文件生成LazyFrame
2. 执行unnest转换
3. 调用sink_parquet写入结果

已尝试方案：

• 全局替换为jemallocator
• 开启with_streaming(true)
• 设置scan_parquet的low_memory=true
• 查询计划确认流式引擎已启用，但OOM仍发生

疑问 #

1. 为何启用流式处理仍出现OOM？
2. 还有哪些磁盘级/分块处理方案可应对超内存数据集？

解答 #

1. 流式处理仍OOM的原因分析 #

• unnest操作的内存膨胀特性：unnest会将数组/结构体字段展开为多行，若原数据中存在长度极大的数组，或单分块内聚集大量大数组，即使流式处理，展开后的单块数据量也可能突破内存限制。Polars流式按分块处理，但分块内的unnest数据膨胀倍数过高时，单块内存占用会远超预期。
• Parquet原文件Row Group过大：low_memory=true让Polars按Row Group读取数据，如果原Parquet的Row Group设置过大（比如单Row Group超过6GB），即使开启流式，也需要一次性加载整个Row Group到内存，直接触发OOM。
• Docker内存配置冲突：你提到容器内存限制为6GB，但配置了--memory=20gb，可能存在配置冲突，实际容器内存被严格限制在6GB，导致Polars流式分块处理时，单块内存占用接近阈值，加上unnest的数据膨胀直接触发溢出。
• 流式对部分操作的内存优化有限：Polars流式引擎对unnest这类可能导致数据爆炸的操作，内存缓冲能力有限，若未提前限制数组长度或过滤数据，容易出现内存骤增。

2. 磁盘级/分块处理方案 #

• 手动拆分原Parquet文件：将20GB的Parquet拆分为多个1GB以内的小文件，再用scan_parquet批量加载，让流式处理每次只处理更小的分块，降低单块内存占用。
• 强制指定更小的分块行数：在scan_parquet中通过chunk_size参数（比如chunk_size=10_000）强制设置分块行数，覆盖Parquet原Row Group大小，确保每个处理分块的内存可控。
• 用磁盘存储中间结果：在LazyFrame配置中通过with_temp_dir指定临时目录，让Polars将无法在内存中处理的中间结果写入磁盘，避免内存堆积。
• 提前处理大数组：在unnest之前，用arr.slice截断过长数组，或用arr.lengths过滤掉数组长度超阈值的行，减少unnest后的数据膨胀。
• 输出时分区存储：在sink_parquet中使用partition_by参数，按某个字段将结果拆分到多个子目录，每个分区文件更小，降低写入时的内存压力。
• 修正Docker内存配置：确认容器实际内存限制是否与--memory=20gb配置一致，若业务允许，调整容器内存限制，给Polars更多缓冲空间。

内容的提问来源于stack exchange，提问作者men1n2