如何验证Spark查询Iceberg分区表的分区访问有效性？

问题场景 #

我创建了基于month(tpep_pickup_datetime)分区的Apache Iceberg表iceberg.nyc_yellowtaxi_tripdata_v2，执行了以下Spark查询：

df = spark.sql("select *  from iceberg.nyc_yellowtaxi_tripdata_v2 where tpep_pickup_datetime = '2022-01-01 00:35:40' ")

我想确认分区是否正常工作、查询访问了哪些分区或是否存在全表扫描，但执行df.explain()后未获取到分区过滤相关信息，请问该怎么检查查询的分区访问状态？

解决方法 #

• 启用Spark扩展执行计划
  默认的df.explain()输出信息有限，改用df.explain("extended")或者df.explain(true)，就能看到包含Iceberg分区过滤逻辑的完整执行计划。你会在输出中找到PartitionFilter相关节点，或者明确标注哪些分区被跳过、哪些被扫描的细节。

• 直接查询Iceberg元数据表
  Iceberg自带元数据表，可以直接验证分区配置和访问情况：

  1. 确认分区规则是否正确配置：

     DESCRIBE EXTENDED iceberg.nyc_yellowtaxi_tripdata_v2
     

     在输出的Partitioning字段中，能看到表是否确实按month(tpep_pickup_datetime)分区。
  2. 查看表的所有分区：

     SELECT * FROM iceberg.nyc_yellowtaxi_tripdata_v2.partitions
     

     结合你的查询时间（2022-01-01），对应的分区应为month(tpep_pickup_datetime) = '2022-01'，可以核对该分区是否存在。
  3. 查看扫描文件的分区归属：
     通过Iceberg的文件元数据表，或者在Spark任务的日志中查看扫描文件的路径，路径通常会包含分区值，以此确认查询访问的分区。

• 通过Spark UI查看查询细节
  提交查询后，打开Spark UI的「SQL」标签，找到对应的查询任务并进入详情页。在Iceberg相关的扫描节点中，会明确显示扫描的分区数量、跳过的分区数量，以及每个分区的具体值，直观判断是否触发了分区过滤。

• 验证分区过滤逻辑（可选）
  手动写一个基于分区键的显式查询进行对比：

  SELECT * FROM iceberg.nyc_yellowtaxi_tripdata_v2 WHERE month(tpep_pickup_datetime) = '2022-01'
  

  执行df.explain("extended")查看是否有分区过滤生效。如果这个查询能显示分区过滤，说明原查询的时间条件应该也能被Iceberg自动推导到对应分区，只是默认explain未展示相关信息。

内容的提问来源于stack exchange，提问作者sho