Spark Storage Partitioned Join（SPJ）除Iceberg外是否支持其他数据源？

目前Spark的**Storage Partitioned Join（SPJ）**特性，在官方支持层面，除了Iceberg之外，暂时没有其他公开明确适配的原生数据源，包括Parquet在内的常规列式存储格式目前无法直接使用该特性。

SPJ的核心依赖数据源能够提供分区级的统计信息与元数据交互能力，以此实现基于存储分区的高效join优化。Iceberg之所以能适配，是因为它的表格式设计本身就内置了完善的分区元数据管理、分区统计信息存储机制，可以和Spark的SPJ优化逻辑深度对接。

而像Parquet这类传统文件格式，本身不具备表级的元数据管理能力，Spark对Parquet的分区识别仅依赖文件系统目录结构，无法提供SPJ所需的细粒度分区统计信息（比如分区内数据的键分布、数据量等），因此暂时无法触发SPJ优化。

不过，社区后续可能会推动将SPJ扩展到更多表格式或数据源，但截至Spark 3.5版本，官方公开资料中仅明确Iceberg是适配SPJ的数据源。

内容的提问来源于stack exchange，提问作者mrbrahman