Apache Spark Structured Streaming任务成功但Spark UI显示查询与阶段仍活跃

我在EMR 6.14版本集群上运行Apache Spark Structured Streaming 3.1.2的流处理任务，功能是将Apache Kafka中的数据写入Delta Lake表。

目前遇到一个异常情况：打开Spark UI后，看到大量查询和阶段标记为活跃状态，但进入阶段任务详情页面查看时，所有任务都已经成功完成；实际的流查询也确实已经结束，而且新数据的流入处理完全正常，没有任何问题。按逻辑这些查询应该显示为已完成状态才对。

相关界面状态说明：

• 查询列表界面：大量查询处于活跃状态
• 阶段列表界面：大量阶段处于活跃状态
• 任务详情界面：对应阶段下的所有任务均显示成功完成

有没有人遇到过相同的问题？

内容的提问来源于stack exchange，提问作者Yudovin Artsiom