nodejs-polars处理宽表OOM问题及懒加载、日期列用法问询

使用nodejs-polars读取Parquet（及CSV）文件并逐行迭代处理时，在部分文件上遇到FATAL ERROR: Reached heap limit Allocation failed - JavaScript heap out of memory错误。涉事文件行数不多（约4万行），但列数较多（约1400列）。

相关代码如下：

const fs = require("fs");
const pl = require("nodejs-polars");
const df = pl.readParquet(fs.readFileSync(file_path));
const date_cols = df
    .getColumns()
    .filter((c) => {
      try {
        return c.dtype.variant === pl.DataType.Datetime().variant;
      } catch (e) {
        return false;
      }
    })
    .map((c) => pl.col(c.name).cast(pl.DataType.Datetime("ms")));

for (const record of df.withColumns(...date_cols).toRecords()) {
    processor(record);
}

调试发现错误出现在for (const record of df.withColumns(...date_cols).toRecords())行，推测是toRecords()导致内存溢出。

提出以下问题：

1. 当前代码能否修复OOM问题？20MB的Parquet文件占用内存超2.5GB，是否因列数过多导致？
2. 考虑使用scanParquet()获取LazyDataFrame，但不知如何实现逐行（分块）迭代，请求示例代码。
3. 当前识别日期列的pl.DataType.Datetime().variant写法较为繁琐，是否有更优方案？

问题1：OOM原因及当前代码修复可能性 #

当前代码无法直接修复OOM问题。核心原因是：readParquet会把整个数据集加载到内存，而toRecords()会将所有Polars底层数据转换成JavaScript对象——1400列×4万行的规模下，每个列的类型转换、JS对象封装会带来巨大的内存膨胀，这就是20MB压缩Parquet文件占用2.5GB内存的根本原因。

如果要临时缓解，可以启动Node.js时增加堆内存限制，比如node --max-old-space-size=4096 your-script.js（分配4GB堆内存），但这只是治标，遇到更大的文件仍会出问题。

问题2：使用scanParquet()分块迭代示例 #

scanParquet返回LazyDataFrame，不会立即加载全量数据，而是延迟执行计算。可以通过分块fetch的方式实现低内存迭代：

const pl = require("nodejs-polars");

async function processParquetInChunks(filePath, chunkSize = 1000) {
  // 构建Lazy查询：自动识别日期列并转换精度，后续分块执行
  const ldf = pl.scanParquet(filePath)
    .withColumns(
      pl.col(pl.DataType.Datetime()).cast(pl.DataType.Datetime("ms"))
    );

  let offset = 0;
  while (true) {
    // 每次获取指定行数的块数据
    const dfChunk = await ldf.slice(offset, chunkSize).collect();
    if (dfChunk.height === 0) break;

    // 处理当前块的每一行
    for (const record of dfChunk.toRecords()) {
      processor(record);
    }

    offset += chunkSize;
  }
}

// 调用示例
processParquetInChunks("./target-file.parquet");

如果是CSV文件，只需把scanParquet替换为scanCsv，逻辑完全一致。

问题3：更简洁的日期列识别方案 #

可以直接利用Polars提供的类型匹配方法，无需手动访问variant属性，代码更简洁可靠：

// 方案1：Lazy模式下直接筛选（推荐，无需提前加载列元数据）
const dateColTransform = pl.col(pl.DataType.Datetime()).cast(pl.DataType.Datetime("ms"));

// 方案2：针对已加载的DataFrame，用equals方法判断类型
const date_cols = df.getColumns()
  .filter(c => pl.DataType.Datetime().equals(c.dtype))
  .map(c => pl.col(c.name).cast(pl.DataType.Datetime("ms")));

equals方法是Polars官方提供的类型比较方式，不仅避免了冗余的try-catch，还比手动访问内部属性更稳定。

内容的提问来源于stack exchange，提问作者e.dan