Spark Structured Streaming中partitionBy前使用coalesce的作用是什么？

先结合你的场景回顾下：你的流作业从2个分区的Kafka主题读数据，解析后做聚合，最终要按日期/小时分区写入HDFS的Parquet文件。在这个流程里，coalesce放在partitionBy之前主要有这几个关键作用：

• 避免小文件泛滥，控制输出文件数量
  Spark流处理默认会沿用Kafka的分区数（也就是2个）作为初始并行度，但聚合操作会大幅压缩数据量（比如按小时聚合后，每个时间窗口的数据可能不多）。如果直接用原分区数写Parquet，每个分区对应一个文件，很容易在HDFS上生成大量几MB甚至更小的文件。用coalesce(N)把分区数减少到合适的N（比如1或2，看你的数据量），就能让每个日期/小时目录下只生成N个文件，既避免HDFS被小文件占用过多元数据，也能提升后续读取Parquet的性能。

• 轻量合并分区，降低不必要的开销
  聚合操作本身可能触发Shuffle，Spark默认的Shuffle分区数是200，这会导致聚合后的分区数远大于实际需要。coalesce和repartition不同，它不需要重新分配数据，只是把现有分区的数据合并在一起，不会触发额外的Shuffle操作。这样能减少磁盘IO和网络传输的开销，让整个流作业运行得更高效。

• 匹配HDFS的最优存储规格
  HDFS天生适合存储大文件（通常建议单个文件大小接近HDFS块大小，比如128M或256M）。如果聚合后的每个分区数据量远小于这个值，coalesce可以合并多个小分区的数据，让输出文件的大小更接近HDFS的最优块大小，不管是存储效率还是后续的查询性能都会更好。

举个例子：如果你的小时聚合后每个分区只有10M数据，用coalesce(12)就能合并出一个120M左右的文件，完美适配HDFS的块大小。

内容的提问来源于stack exchange，提问作者messenjah00