Spark分区列统计未保存导致无法自动跳过分区问题排查

1. 开启Spark分区级统计配置 #

Spark 3.x 默认关闭分区级列统计生成，需手动启用：

• 核心配置：spark.sql.statistics.partitionLevel.enabled=true
• 如需直方图优化，补充：spark.sql.statistics.histogram.enabled=true

临时设置可通过Spark SQL命令：

SET spark.sql.statistics.partitionLevel.enabled=true;

也可在Spark提交时通过--conf spark.sql.statistics.partitionLevel.enabled=true全局配置。

2. 执行正确的分区级统计命令 #

你当前的analyze table T compute statistics for columns created_at;仅生成表级统计。要生成全部分区的列级统计，需用分区通配语法：

ANALYZE TABLE T PARTITION(...) COMPUTE STATISTICS FOR COLUMNS created_at;

针对单个分区生成统计，指定具体分区值：

ANALYZE TABLE T PARTITION(p_col1='val1', p_col2='val2') COMPUTE STATISTICS FOR COLUMNS created_at;

3. 验证Hive Metastore版本兼容性 #

Spark依赖Hive 3.1.3，但Metastore为3.1.0，版本差异可能导致分区级统计无法写入元数据：

• Hive 3.1.0 Metastore对非分区列的分区级min/max统计支持有限，部分元数据字段不存在
• 建议将Metastore升级至3.1.3（与Spark依赖的Hive包版本一致），或参考Spark官方兼容性矩阵确认适配性

4. 检查Parquet文件元数据完整性 #

Spark生成分区统计优先读取Parquet文件footer的min/max元数据，若写入时未生成该元数据，Analyze需全量扫描数据：

• 确认写入Parquet时开启parquet.enable.summary-metadata=true（默认开启，部分场景可能被禁用）
• 若Parquet无summary metadata，需确保Analyze命令执行完成（通过Spark UI查看任务状态），全量扫描可能耗时较长

5. 同步外部表分区元数据 #

外部表若手动添加分区，Metastore可能未同步分区信息，导致统计生成失败：

• 执行MSCK REPAIR TABLE T;同步分区元数据至Metastore
• 检查Spark执行用户对外部表存储路径的读权限，权限不足会导致无法扫描分区数据生成统计

内容的提问来源于stack exchange，提问作者Sergey O