Spark Streaming foreachRDD代码停止执行问题排查求助

你遇到的问题是Spark Streaming的DirectStream在运行约50分钟后，foreachRDD内的代码停止执行，仅输出offset重置相关日志，结合你的代码和日志信息，可能的原因如下：

• Kafka消费者offset被意外重置
  日志中的Resetting offset for partition...说明对应分区的offset被强制重置到了最新位置（LATEST）。如果此时Kafka该分区没有新的生产数据，Spark Streaming就不会生成新的RDD，自然不会进入foreachRDD逻辑。这种重置可能来自：

  • 同消费者组的其他客户端执行了手动重置offset的操作
  • Kafka消费者配置的auto.offset.reset设为latest，且Spark管理的offset失效（比如元数据丢失），导致重新连接时直接跳到最新offset

• Spark Streaming批次处理超时或任务积压
  如果某个批次的处理时间（比如rdd.count()操作因数据量突增耗时过长）超过了设置的批次间隔（batchInterval），会导致后续任务积压。当积压达到一定程度，Spark可能会跳过部分批次，甚至进入“静默”状态，不再触发foreachRDD的执行。此外，如果executor资源不足（内存、CPU不够），会导致任务持续失败，最终停止处理新数据。

• Kafka消费者会话超时被踢出组
  若Kafka消费者配置的session.timeout.ms、heartbeat.interval.ms与Spark Streaming的批次间隔不匹配，比如心跳间隔过长，导致Kafka broker认为消费者已挂掉，将其踢出消费者组。重新加入组时，消费者会重置offset到auto.offset.reset指定的位置（这里是latest），如果没有新数据，就不会触发RDD处理逻辑。

• Spark Streaming的offset管理异常
  使用createDirectStream时，默认不会自动将offset提交到Kafka（除非配置了enable.auto.commit=true）。如果你的代码没有手动管理offset（比如将offset保存到外部存储），当Spark应用出现临时故障或重启时，可能会出现offset丢失，导致重新消费时直接跳到最新offset，进而没有数据可处理。

• Kafka分区无新数据产生
  虽然可能性较低，但如果在offset重置后，Kafka对应分区没有新的生产数据，Spark Streaming就不会生成新的RDD，foreachRDD自然不会执行。可以通过Kafka命令行工具（如kafka-console-consumer.sh）验证该分区是否有新数据产出。

内容的提问来源于stack exchange，提问作者Janani