如何高效将1TB级大型CSV文件转换为Polars DataFrame？

以下是针对1TB级CSV文件转换的实用优化方法，可大幅缩短读取耗时：

• 提前指定列数据类型
  避免Polars自动推断列类型时的额外扫描开销，直接通过dtype参数明确每列的数据类型。比如已知列的类型，提前定义类型映射字典：

  import polars as pl
  dtype_map = {
      "id": pl.Int64,
      "timestamp": pl.Datetime,
      "value": pl.Float64,
      "category": pl.String
  }
  df = pl.read_csv("path_to_file.csv", dtype=dtype_map, n_threads=pl.thread_count(), ignore_errors=True)
  

• 启用内存映射
  开启memory_map=True，让Polars通过操作系统的内存映射机制直接读取文件，减少磁盘IO的拷贝开销，尤其适合超大文件场景：

  df = pl.read_csv("path_to_file.csv", memory_map=True, n_threads=pl.thread_count(), ignore_errors=True)
  

• 最大化利用CPU核心
  不要手动固定线程数，使用pl.thread_count()让Polars自动调用当前机器的全部可用CPU核心，充分利用硬件资源：

  df = pl.read_csv("path_to_file.csv", n_threads=pl.thread_count(), memory_map=True, ignore_errors=True)
  

• 分块迭代读取
  若无需一次性加载全量数据，可使用iterator=True获取CSV迭代器，逐块处理后再合并。这种方式既降低内存占用，也能提升读取效率：

  csv_iterator = pl.read_csv(
      "path_to_file.csv",
      iterator=True,
      chunk_size=1_000_000,  # 按需调整块大小
      n_threads=pl.thread_count(),
      ignore_errors=True
  )
  # 逐块处理并合并
  processed_chunks = []
  for chunk in csv_iterator:
      # 这里添加单块数据的处理逻辑
      processed_chunk = chunk.with_columns(pl.col("value").round(2))
      processed_chunks.append(processed_chunk)
  final_df = pl.concat(processed_chunks)
  

• 转换为列式存储格式
  如果需要反复读取该文件，建议将CSV一次性转换为Parquet（列式存储格式）。Parquet的读取速度远快于CSV，后续操作效率会大幅提升：

  # 仅需执行一次：将CSV转为Parquet
  pl.read_csv(
      "path_to_file.csv",
      memory_map=True,
      n_threads=pl.thread_count(),
      ignore_errors=True
  ).write_parquet("path_to_file.parquet")
  
  # 后续直接读取Parquet，速度显著提升
  df = pl.read_parquet("path_to_file.parquet", n_threads=pl.thread_count())
  

• 明确文件格式参数
  直接指定分隔符、表头存在性等参数，避免Polars自动推断的额外开销：

  df = pl.read_csv(
      "path_to_file.csv",
      sep=",",
      has_header=True,
      memory_map=True,
      n_threads=pl.thread_count(),
      ignore_errors=True
  )
  

内容的提问来源于stack exchange，提问作者megha