Spark Structured Streaming写Kafka时默认分区器是否跨Spark分区生效？

不需要手动执行repartition("key")，即使相同key的记录分布在不同Spark分区，Spark-Kafka写入器配合Kafka默认分区器，也能保证同key记录路由到同一个Kafka分区，完全符合你给出的示例预期。

• Spark写入Kafka时，每个Spark分区会对应一个独立运行的Executor Task，每个Task会初始化一个本地Kafka Producer实例，分区路由计算确实是在单Spark分区的本地上下文独立完成的，Spark框架本身不会在写入前自动做跨Spark分区的按key重分布。
• 但Kafka默认分区器对携带key的消息的路由逻辑是完全确定性的纯计算：对key序列化后的字节数组做Murmur2哈希，将结果对目标Topic的总分区数取正模，得到最终的目标Kafka分区号。这个计算过程不依赖任何Producer本地的独立状态，和Spark分区归属、Producer实例都没有关系。
• 只要所有Task的本地Producer同步的Kafka Topic元数据（分区数量）一致、key的序列化逻辑一致，不管同key记录分散在多少个Spark分区中，所有本地Producer计算出的目标Kafka分区号都完全相同。你示例中分布在Spark分区1、2的key1记录，会被两个本地Producer分别路由到同一个Kafka分区1，和预期结果完全一致。

只有两类场景需要你显式调用repartition(col("key"))做重分区：

• 需要严格保证同key消息的写入顺序：同key分散在不同Spark分区时，不同Task的处理速度、网络延迟存在差异，最终写入Kafka的顺序可能和Spark全局处理顺序不一致。将同key重分区到同一个Spark分区后，所有同key记录由同一个Task顺序发送，才能保证Kafka分区内的同key消息顺序和Spark分区内的处理顺序一致。
• 使用了非确定性的自定义Kafka分区器：如果你自定义的分区器依赖本地缓存、本地计数器这类和Producer实例绑定的非公共状态，跨Spark分区的同key记录可能计算出不同的目标分区，这种场景需要通过重分区把同key归集到同一个Spark分区，再由单个Producer完成路由。

如果写入过程中目标Kafka Topic执行了扩分区操作，不同Task的本地Producer元数据同步存在短暂的时间差，窗口期内可能出现同key路由到不同分区的情况，等所有Producer元数据同步完成后会自动恢复一致。

内容的提问来源于stack exchange，提问作者YFl