使用DuckDB-WASM查询S3中Hive分区表未实现文件级谓词下推

问题原因 #

当在视图中直接通过具体文件路径列表调用read_parquet时，即使开启了hive_partitioning=1，DuckDB也无法将查询的分区谓词下推到文件筛选阶段。因为视图创建时已经固定了要读取的文件集合，hive_partitioning仅负责从这些指定文件的路径中解析出分区列，但不会在查询时根据谓词排除已列在列表中的文件。

解决方案 #

1. 使用S3目录前缀替代具体文件列表 #

不要逐个指定Parquet文件，而是用分区根目录的前缀让DuckDB自动扫描并识别Hive分区结构，这样查询时就能基于分区谓词跳过不匹配的文件：

create or replace view my_view as
select
    Part1 as part_1
  , Part2 as part_2
  , Column1 as column_1
  , Column2 as column_2
  from read_parquet(
    's3://my-bucket/path/to/*',
    hive_partitioning=1,
    recursive=true)  -- 若分区目录为嵌套结构，需开启递归扫描

2. 验证执行计划 #

执行查询前可以用EXPLAIN ANALYZE查看执行计划，确认是否包含分区筛选逻辑：

EXPLAIN ANALYZE select count(*) from my_view where part_1 = 'abc' and part_2 = '123'

若计划中出现Filter (part_1 = 'abc' AND part_2 = '123')且对应分区文件被标记为跳过，则说明谓词下推生效。

3. 确保使用最新版DuckDB-WASM #

旧版本的DuckDB-WASM在S3分区谓词下推上可能存在兼容性问题，升级到最新版可避免此类问题。

内容的提问来源于stack exchange，提问作者Dude0001