Polars是否支持缓存Hive布局S3存储桶的下载文件？

Polars本身没有内置的穿透缓存功能，但可以通过fsspec的缓存文件系统完美实现你需要的本地缓存与S3动态切换需求，同时完全保留Polars的查询优化能力（包括谓词/投影下推、自动筛选所需文件的逻辑）。

核心方案：用fsspec.CachedFileSystem包装S3存储 #

Polars支持通过storage_options参数传入兼容fsspec的文件系统，而fsspec提供的CachedFileSystem可以自动实现本地缓存：访问文件时先检查本地缓存，存在则直接读取；不存在则从S3下载并缓存到本地，后续访问直接用缓存文件。

步骤与示例代码 #

1. 安装依赖：

pip install polars fsspec s3fs

2. 实现缓存逻辑并扫描Parquet：

import polars as pl
from fsspec.implementations.cached import CachedFileSystem
from s3fs import S3FileSystem

# 初始化原生S3文件系统
s3_fs = S3FileSystem()

# 创建带本地缓存的S3文件系统，设置缓存目录和大小上限（比如20GB）
cached_fs = CachedFileSystem(
    fs=s3_fs,
    cache_storage="/your/local/cache/dir",  # 本地缓存路径
    size_limit=20 * 1024**3,  # 20GB缓存上限
    cache_check=1  # 每次访问检查缓存有效性
)

# 用scan_parquet扫描S3路径，传入缓存后的文件系统
lazy_df = pl.scan_parquet(
    "s3://your-bucket/path/to/dataset/*.parquet",
    storage_options={"fs": cached_fs}
)

# 执行查询：Polars会先筛选需要的文件，fsspec自动处理缓存
result = lazy_df.filter(pl.col("date") >= "2024-01-01").select("user_id", "amount").collect()

方案优势 #

• 完全保留Polars的查询优化：Polars依然会先扫描S3上Parquet文件的元数据，自动过滤掉不需要的文件，只有真正需要读取的文件才会被下载缓存，不会丢失Polars的隐式文件选择逻辑。
• 动态缓存管理：CachedFileSystem会自动处理缓存的写入、读取和淘汰（当缓存达到大小上限时，会删除最久未使用的文件）。
• 无需修改Polars核心逻辑：基于Polars对fsspec的原生支持，不需要自定义数据源或修改Polars代码。

自定义缓存逻辑的进阶方案 #

如果需要更灵活的缓存策略（比如自定义缓存淘汰规则、缓存有效期），可以：

• 继承fsspec.spec.AbstractFileSystem实现自己的缓存文件系统，自定义文件访问逻辑。
• 结合Polars的custom_reader，先通过scan_parquet获取需要扫描的文件列表，再对每个文件做缓存检查后读取，但这种方式会增加代码复杂度，不如直接用CachedFileSystem简洁。

内容的提问来源于stack exchange，提问作者Philip Couling