Spark/Databricks中AQE与coalesce()的行为疑问及数据skew风险

你的理解完全正确，具体原因可以拆解为以下几点：

• coalesce()无Shuffle，AQE无法介入
  coalesce()仅通过合并现有分区来减少数量，全程不触发Shuffle操作——它只是把多个小分区的数据直接合并到同一任务中，不会重新分配数据的分布。而AQE的核心优化逻辑（数据倾斜检测、动态分区调整等）都是基于Shuffle阶段产生的统计数据触发的，没有Shuffle就没有AQE可以依赖的数据源，因此AQE不会对coalesce()后的分区做任何优化处理。这种情况下原本存在的或者合并后产生的数据倾斜会被隐藏，进而引发后续作业运行缓慢甚至故障。

• repartition()触发全Shuffle，AQE会自动优化
  repartition()会触发全量Shuffle，Spark会将所有数据打散后重新分配到新分区中。这个Shuffle过程会被AQE全程监控，AQE会收集分区大小、键分布等统计信息，自动执行优化操作：比如检测到数据倾斜时拆分热点分区，或者根据实际数据量动态调整最终分区数，从根源上避免数据倾斜带来的性能问题。

• 官方文档的描述确实存在不足
  目前官方文档对coalesce()与AQE的交互逻辑描述不够清晰，很多工程师容易忽略这一特性，在需要保证数据分布均匀的场景下误用coalesce()，最终导致作业性能问题。

内容的提问来源于stack exchange，提问作者Pirvu Georgian