如何用Polars处理超内存数据集？实操场景遇阻求助

我正在学习使用Polars，看中它的性能优势和处理超内存数据集的能力，但在业务场景里找不到处理大文件输出到STDOUT的可行方案。具体需求是：读取S3上的多GB JSONL文件，执行少量转换后将修改后的记录输出到STDOUT。

遇到的两个核心问题：

• Lazy模式下sink方法的局限：sink_*()系列方法仅支持写入命名文件路径，不支持缓冲区或类文件对象，没法直接用sink_ndjson(sys.stdout)这种方式输出。
• 分批处理的障碍：尝试用LazyFrame.slice(offset, batch_size).collect()分批获取数据（比如每次10万行），处理后逐批用write_ndjson(sys.stdout)输出，但实际调用时会挂起或崩溃，而且这个方法本身也不是为增量获取批次设计的。

针对你的需求，这里提供两种可行的方案，都能实现超内存大文件的流式处理并输出到STDOUT：

方案1：用scan_ndjson结合iter_batches流式输出 #

Polars的scan_ndjson（支持直接解析s3://路径）返回的LazyFrame，可通过iter_batches生成批次迭代器——这个方法是专门为增量处理设计的，不会一次性加载全部数据到内存。

示例代码：

import sys
import polars as pl

# 读取S3上的JSONL文件（需确保环境已配置S3权限，依赖fsspec、s3fs库）
lf = pl.scan_ndjson("s3://your-bucket/path/to/large/file.jsonl")

# 执行自定义转换操作（示例：新增一个大写转换后的列）
lf_transformed = lf.with_columns(pl.col("existing_column").str.upper().alias("new_column"))

# 流式迭代批次并输出到STDOUT
for batch in lf_transformed.iter_batches(batch_size=100_000):
    # 将批次转为JSONL格式写入stdout
    batch.write_ndjson(sys.stdout, newline="\n")
    # 强制刷新缓冲区，避免输出延迟或不完整
    sys.stdout.flush()

关键说明： #

• iter_batches会基于LazyFrame的执行计划，分批读取和处理数据，每批处理完成后才加载下一批，内存占用稳定在单批次大小。
• 提前安装依赖：pip install fsspec s3fs，并配置好AWS凭证（环境变量、~/.aws/credentials等）。

方案2：用read_ndjson的streaming参数（Polars 0.20+） #

如果使用Polars 0.20及以上版本，可以直接用read_ndjson的streaming=True开启流式读取，结合迭代器处理更直观：

示例代码：

import sys
import polars as pl

# 流式读取S3上的JSONL，指定批次大小
df_stream = pl.read_ndjson(
    "s3://your-bucket/path/to/large/file.jsonl",
    streaming=True,
    batch_size=100_000
)

# 遍历流中每个批次，转换后输出
for batch in df_stream:
    # 执行自定义转换
    batch_transformed = batch.with_columns(pl.col("existing_column").str.upper().alias("new_column"))
    # 输出到STDOUT
    batch_transformed.write_ndjson(sys.stdout, newline="\n")
    sys.stdout.flush()

关于切片方法崩溃的原因 #

LazyFrame.slice(offset, batch_size).collect()的问题在于：每次调用都会重新执行整个读取计划，从文件开头扫描到指定offset位置——重复扫描多GB大文件会导致IO过载，最终引发挂起或崩溃。而iter_batches是基于执行计划的顺序流式迭代，只会读取一次文件，效率和内存安全性都更高。

内容的提问来源于stack exchange，提问作者aaronsteers