优化Polars CSV加载防OOM崩溃，咨询内存限制及替代方案

一、sink_parquet报错原因 #

当前Polars标准引擎尚未支持sink_parquet方法，因此会抛出提示错误。官方给出的临时替代方案是collect().write_parquet()，但大数据场景下直接collect会触发内存溢出。

二、设置Polars内存使用上限 #

Polars支持直接设置内存使用上限，通过polars.set_memory_limit()方法实现，单位为字节。示例代码：

import polars as pl

# 设置内存上限为4GB（换算公式：4 * 1024^3 字节）
pl.set_memory_limit(4 * 1024**3)

当Polars处理数据时，内存占用接近设定上限时，会自动触发流式内存管理策略，避免内存耗尽导致环境崩溃。

三、优化大数据写入的实用技巧 #

除了设置内存上限，还可以通过以下方式进一步降低内存压力：

• 分块批量处理：手动拆分数据集，逐块处理并追加写入Parquet。示例：

# 初始化lazy reader
lazy_df = pl.scan_csv("large_input.csv")

# 获取总行数（若已知可直接指定）
total_rows = lazy_df.select(pl.count()).collect().item()
chunk_size = 1_000_000  # 按每100万行分块

for start in range(0, total_rows, chunk_size):
    # 分块读取、处理
    processed_chunk = (
        lazy_df
        .slice(start, chunk_size)
        .with_columns(pl.col("target_col").str.split("|").alias("split_col"))  # 字段拆分
        .explode("split_col")  # 展开数组
        .collect(streaming=True)
    )
    # 追加写入Parquet
    processed_chunk.write_parquet("output.parquet", mode="append")

• 保持lazy执行链：所有数据变换操作（拆分、explode等）都在lazy模式下完成，不要中途调用collect，确保Polars只处理必要的数据块。
• 指定高效数据类型：在scan_csv时通过dtypes参数明确字段类型，比如将低精度数值设为pl.Int32而非默认的pl.Int64，减少内存占用。

四、提前试用Arrow引擎的sink_parquet #

Polars的Apache Arrow引擎已部分支持sink_parquet，可以尝试切换引擎解决问题：

# 使用Arrow引擎扫描CSV
lazy_df = pl.scan_csv("large_input.csv", engine="arrow")

# 执行操作后直接sink_parquet
(
    lazy_df
    .with_columns(pl.col("target_col").str.split("|").alias("split_col"))
    .explode("split_col")
    .sink_parquet("output.parquet")
)

注意：Arrow引擎的scan_csv在功能细节上和标准引擎可能存在差异，建议先测试小数据集验证兼容性。

内容的提问来源于stack exchange，提问作者Thomas