关于Spark Datasource API v2的理解确认及CatalogTablePartition接口咨询

你的核心理解完全正确： #

• Spark Datasource API v2的核心表抽象是org.apache.spark.sql.connector.catalog.Table，这类实现可被称为“v2CatalogTable”。
• CatalogTable是Datasource API v1中的遗留表元数据抽象，Spark通过V1Table类实现向后兼容——该类继承自v2的Table接口，且以v1的CatalogTable作为构造参数，让v1的表实现能够适配v2 API体系。

关于CatalogTablePartition对应的v2接口： #

v1中的CatalogTablePartition对应的v2核心接口是org.apache.spark.sql.connector.catalog.Partition，它代表v2体系中的分区实体，包含分区的标识与属性信息。

如果需要实现分区的管理操作（如创建、删除分区），还需结合org.apache.spark.sql.connector.catalog.SupportsPartitionManagement接口，该接口定义了分区管理的标准方法。

内容的提问来源于stack exchange，提问作者Guoqiao Li