Spark skewedPartitionThresholdInBytes参数配置未生效问题咨询

• Spark版本不兼容
  AQE倾斜Join优化是Spark 3.0版本新增的特性，低于3.0的Spark版本不支持该能力，即使配置对应参数也不会触发倾斜分区拆分。
• 参数未在正确时机配置
  spark.sql.adaptive.enabled等核心AQE配置需要在SparkContext初始化完成前设置，若在SparkSession创建后通过spark.conf.set动态修改，参数不会实际生效。可通过Spark UI的Environment页面确认运行时实际加载的参数，排查是否存在其他配置项覆盖了你的设置。
• Join执行逻辑不符合优化要求
  AQE倾斜Join仅支持SortMergeJoin、ShuffledHashJoin的内连接、左外连接、右外连接场景，全外连接暂不支持优化。即使初始执行计划显示为SortMergeJoin，若运行时触发了小表自动广播（执行计划实际转为BroadcastJoin），也会直接跳过倾斜优化逻辑，可适当调低spark.sql.autoBroadcastJoinThreshold阈值避免该问题。
• 隐藏判定条件未满足
  除分区大小阈值、倾斜因子的判定规则外，AQE还要求倾斜分区的行数超过spark.sql.adaptive.skewJoin.skewedPartitionRowCountThreshold默认值（100000行），行数不满足的分区不会被识别为倾斜分区。
• 分区数量上限限制
  若spark.sql.adaptive.maxNumPostShufflePartitions配置值过小，没有多余的分区额度用于拆分倾斜分区，优化逻辑也会被终止。

内容的提问来源于stack exchange，提问作者Nixon Raphy