Spark单分区长耗时mapGroupsWithState会延迟其他分区处理吗？

现有基于groupByKey + mapGroupsWithState实现的Structured Streaming流式作业，代码结构如下：

dataFrame
  .as[Log]
  .groupByKey(_.id)
  .mapGroupsWithState(GroupStateTimeout.NoTimeout())(processData)
  .writeStream
  .trigger(Trigger.ProcessingTime(s"$x seconds"))
  .outputMode(OutputMode.Update())
  .foreachBatch(postProcess _)
  .start()


def processData(id: String, logs: Iterator[Log], oldState: GroupState[Checkpoint]): Array[Log] = {
  if (f(id)) {
      // 长耗时操作逻辑
  }
  else {
    // 常规处理逻辑
  }
}

作业使用的DataFrame按id字段分区，已知processData中if分支的长耗时操作会延迟同分区下其他id对应数据的批次处理。

• 上述长耗时操作是否会延迟其他分区上的数据批次处理？
• Spark接收mapGroupsWithState输出并传递给foreachBatch的批次处理逻辑是什么，当前配置是否会导致所有分区的数据输出都被延迟？
• 单分区延迟影响其他分区的逻辑不符合直觉，需要明确结论。

• 分区计算层面：单分区长耗时不会阻塞其他分区的计算执行
  mapGroupsWithState作为状态型转换算子，和Spark常规RDD/DataFrame算子一样，是按分区拆分任务分发到不同Executor并行执行的。只要集群有足够的可用任务槽，不同分区的processData逻辑会运行在独立的执行线程中，互不抢占执行资源。命中长耗时逻辑的id只会占用自身所在分区对应任务的执行时长，其他分区的分组计算会正常推进，不会被直接阻塞。
• 批次提交层面：单分区长耗时会拖慢整个批次的输出，导致全量数据交付延迟
  当前使用的是微批处理模式的ProcessingTime触发器，每个触发间隔生成的微批次，必须等该批次下所有分区的计算任务全部完成后，才会统一将全部分区的计算结果交付给foreachBatch的postProcess逻辑，同时完成对应批次offset的提交以保证处理语义。哪怕其余分区都在极短时间内完成计算，只要有一个分区因为长耗时操作未执行完成，整个批次就会处于等待状态，不会提前把已完成分区的结果推给下游。从最终输出的视角看，所有分区的数据交付都会被这个慢分区拖慢。
• 当前配置不改变上述逻辑
  配置的GroupStateTimeout.NoTimeout()仅控制状态的过期清理规则，OutputMode.Update()仅控制结果输出的内容范围，两个配置都不会修改微批次“全分区任务完成后统一提交”的核心逻辑。

内容的提问来源于stack exchange，提问作者limotl3