Spark3.3.0（Glue4.0）升级性能问题求助：无ReusedExchange及额外Shuffle

• 检查Exchange复用核心配置
  Spark 3.3.0默认开启Exchange复用，但Glue 4.0可能存在自定义配置覆盖默认值，手动强制开启以下参数：

  spark.conf.set("spark.sql.exchange.reuse.enabled", "true")
  spark.conf.set("spark.sql.exchange.reuse.materialized", "true")
  

  这两个参数分别控制普通Exchange和物化Exchange的复用逻辑，确保都处于启用状态。

• 对比查询计划，排除优化规则干扰
  生成两个版本的EXPLAIN EXTENDED查询计划，重点对比逻辑计划阶段的差异：

  1. 检查是否有Join顺序、谓词位置、聚合操作触发逻辑的变化
  2. 临时关闭Spark 3.3新增的优化规则（如倾斜Join优化、本地Shuffle读取优化）测试：

     spark.conf.set("spark.sql.optimizer.excludedRules", "org.apache.spark.sql.catalyst.optimizer.OptimizeSkewedJoin,org.apache.spark.sql.catalyst.optimizer.OptimizeLocalShuffleReader")
     

     若关闭后Exchange复用恢复，说明是新增优化规则破坏了复用条件，可针对性调整规则的触发阈值。

• 排查Glue专属优化配置
  Glue 4.0默认启用了Glue专属优化器，可能修改Spark原生查询计划：

  spark.conf.set("glue.sql.optimizer.enabled", "false")
  

  关闭后测试是否恢复Exchange复用，若有效，可进一步排查Glue优化器中的具体规则是否与Exchange复用冲突。

• 验证Schema与数据类型一致性
  尽管使用相同数据集，Glue 4.0对数据类型的解析可能更严格，比如隐式类型转换逻辑变化，导致Exchange的哈希标识不一致无法复用。对比两个版本的表Schema输出，确保所有字段的类型、精度完全匹配。

• 手动缓存实现临时复用（Workaround）
  若自动复用逻辑暂时无法恢复，可在关键Shuffle操作后手动缓存结果：

  df = df.cache()
  

  或指定存储级别：

  from pyspark import StorageLevel
  df = df.persist(StorageLevel.MEMORY_AND_DISK)
  

  后续查询直接复用缓存数据集，避免重复Shuffle。注意根据集群资源情况调整存储级别，避免OOM。

内容的提问来源于stack exchange，提问作者Salatiques