Spark 3.3.0中使用bucketBy+sortBy调用save()报错求助

错误原因 #

Spark的bucketBy和sortBy是为分桶表设计的特性，这类特性依赖Spark Catalog维护表的元数据（包括分桶数量、分桶列、排序列等）。而save方法仅直接将数据写入指定路径，不与Catalog交互，因此不支持这两个参数，触发报错：'save' does not support bucketBy and sortBy right now。

解决方案 #

根据需求选择以下两种方案：

方案1：保存为正式分桶表（推荐）

使用saveAsTable替代save，将数据注册为Catalog中的分桶表，同时可指定外部表路径（避免删除表时丢失数据）：

df.write
  .format("parquet")
  .bucketBy(200, "groupIdProjection")
  .sortBy("groupIdProjection")
  .option("header", true)
  .mode(SaveMode.Append)
  .option("path", conf.assiette.work.prep.transitionMatrixObligor)
  .option("external", "true") // 标记为外部表，表元数据删除后数据仍保留
  .saveAsTable("your_db.your_bucketed_table") // 需指定库名和表名，注册到Catalog

• 首次执行时自动创建表，后续Append操作会按相同分桶规则追加数据；
• 分桶表元数据会被Spark Catalog记录，后续查询可利用分桶剪枝、避免shuffle等优化特性。

方案2：模拟分桶效果（不注册为表）

如果不需要注册为Catalog表，仅需实现类似分桶的文件组织形式，可通过repartition+sortWithinPartitions模拟：

df.repartition(200, "groupIdProjection")
  .sortWithinPartitions("groupIdProjection")
  .write
  .format("parquet")
  .option("header", true)
  .mode(SaveMode.Append)
  .option("path", conf.assiette.work.prep.transitionMatrixObligor)
  .save()

• 该方式会将数据按groupIdProjection哈希分区为200个文件，并在每个文件内排序；
• 但Spark不会记录分桶元数据，后续查询无法享受分桶表的性能优化。

注意事项 #

• 使用方案1时，确保指定的数据库（your_db）已存在，或使用默认数据库；
• Spark 3.3.0对分桶表的Append操作支持稳定，无需额外配置；
• AWS环境下需确保Spark对目标路径（HDFS/S3）有读写权限。

内容的提问来源于stack exchange，提问作者user24123007