如何在Polars中使用压缩文件列表创建Lazy DataFrame？

Polars完全支持读取压缩格式的CSV/JSONL文件，并且可以直接将整个文件夹的这类文件加载为Lazy DataFrame，无需手动解压。

压缩CSV文件处理 #

使用pl.scan_csv()时，Polars能自动识别gzip、bz2、xz、zip等常见压缩格式，直接指定文件夹路径即可批量读取：

import polars as pl

# 读取文件夹下所有压缩/未压缩CSV为Lazy DataFrame
lazy_df = pl.scan_csv("path/to/compressed_csv_folder/*")

即便文件夹内混合了不同压缩格式的文件，Polars也能自动适配处理。

压缩JSONL文件处理 #

处理JSONL文件可使用pl.scan_ndjson()，同样支持自动识别压缩格式：

# 读取文件夹下所有压缩/未压缩JSONL为Lazy DataFrame
lazy_df = pl.scan_ndjson("path/to/compressed_jsonl_folder/*")

进阶控制 #

如果需要明确指定压缩格式（比如避免自动识别出错），可以通过compression参数显式设置，示例：

# 强制指定gzip压缩格式
lazy_df = pl.scan_csv("path/to/gzip_files/*", compression="gzip")

对于zip文件，Polars会自动读取其中的CSV/JSONL内容，无需单独指定压缩包内的文件路径。

内容的提问来源于stack exchange，提问作者Qrilka