Polars查询Azure Blob Storage Parquet文件谓词下推失效问题求助

你遇到的核心问题是Polars的谓词下推未生效，导致即便使用scan_parquet加过滤条件，仍需下载整个Parquet文件。这并非Azure Blob不支持计算下推，而是Parquet文件本身的结构或配置未满足Polars下推过滤的要求。

1. 检查Parquet文件的Row Group统计信息 #

Parquet的谓词下推依赖每个Row Group（数据块）的列统计信息（如date列的min/max值）。若文件生成时未开启统计，Polars无法判断哪些Row Group包含目标日期，只能全量读取。

• 验证文件是否包含统计信息：

  metadata = pl.read_parquet_metadata('az://{bucket-name}/{filename}.parquet', storage_options={...})
  # 查看第一个Row Group的date列统计
  date_col_idx = metadata.schema.names.index('date')
  print(metadata.row_groups[0].columns[date_col_idx].statistics)
  

• 若无统计信息，需在生成Parquet时开启（以Polars写文件为例）：

  df.write_parquet('output.parquet', write_statistics=True)
  

2. 确认Polars谓词下推是否生效 #

用.explain()查看执行计划，验证过滤条件是否被下推到扫描阶段：

plan = (
    pl.scan_parquet('az://{bucket-name}/{filename}.parquet', storage_options={...})
    .filter(pl.col('date') == pl.date(2023,4,1))
    .explain()
)
print(plan)

若输出包含Predicate pushdown相关描述，说明下推生效；若未生效，检查：

• date列类型是否与过滤条件匹配（如列是datetime[ns]类型，需统一为date类型后再过滤）
• 过滤条件是否为Polars支持下推的简单表达式（复杂函数或自定义逻辑可能无法下推）

3. 优化Azure Blob读取配置 #

Polars依赖fsspec和adlfs处理Azure Blob访问，确保使用最新版本依赖包：

pip install --upgrade polars fsspec adlfs

同时可调整storage_options参数优化读取性能：

storage_options = {
    "account_name": "你的存储账户名",
    "account_key": "你的存储密钥",
    "use_fast_upload": True,
    "max_concurrency": 10  # 根据网络情况调整并发数
}

4. 手动指定Row Group（应急方案） #

若无法重新生成带统计的文件，可先读取元数据获取每个Row Group的date范围，再手动指定需读取的Row Group：

metadata = pl.read_parquet_metadata('az://{bucket-name}/{filename}.parquet', storage_options={...})
target_date = pl.date(2023,4,1)
selected_row_groups = []

date_col_idx = metadata.schema.names.index('date')
for idx, rg in enumerate(metadata.row_groups):
    col_stats = rg.columns[date_col_idx].statistics
    # 假设统计信息存在且为date类型
    min_date = pl.date(col_stats.min)
    max_date = pl.date(col_stats.max)
    if min_date <= target_date <= max_date:
        selected_row_groups.append(idx)

# 仅读取选中的Row Group
df = pl.scan_parquet(
    'az://{bucket-name}/{filename}.parquet',
    storage_options={...},
    row_groups=selected_row_groups
).collect()

内容的提问来源于stack exchange，提问作者MYK