Spark Structured Streaming应用无作业无阶段故障求助

这种诡异的情况我之前也碰到过几次，结合你描述的现象——偏移量能正常提交但输入行数为0、Spark UI完全没作业动静，大概率是数据消费环节的阻塞或者Spark的触发器/状态机制出了问题，给你梳理几个优先级从高到低的排查方向：

1. 先排查Kafka消息的反序列化/数据完整性问题 #

虽然之前运行正常，但很可能是Kafka端出现了异常数据或者序列化格式变化：

• 临时在你的数据读取逻辑里加try-catch捕获反序列化异常，或者把Spark日志中org.apache.spark.sql.execution.streaming的级别调到DEBUG，看看有没有隐藏的报错信息（有时候反序列化失败不会直接抛出致命异常，只会静默丢弃数据）。
• 核对readStream配置中的value.deserializer（或key.deserializer）是否和Kafka生产者的序列化器完全匹配，有没有人修改了topic的生产者配置？
• 用Kafka命令行工具直接消费topic数据，确认消息本身是正常可解析的：

  kafka-console-consumer.sh --bootstrap-server <kafka-broker>:9092 --topic <your-topic> --from-beginning
  

2. 检查Spark Streaming的触发器与状态存储 #

• 如果你的应用使用了状态操作（比如groupBy、agg、join等），大概率是状态存储损坏或锁死：
  • 临时修改代码，去掉所有状态相关逻辑，改成极简的流任务（仅读Kafka并打印到控制台），看是否能正常生成作业和统计输入行数。如果可以，说明是旧状态目录的问题，清理checkpointLocation对应的HDFS路径后重启应用即可。
• 检查触发器配置：如果用了Trigger.Once()或长间隔触发器，看看spark.sql.streaming.stopTimeout是否设置过短，导致任务被强制终止但偏移量仍被提交；可以临时换成Trigger.ProcessingTime("10s")快速验证是否能触发作业。

3. 集群资源与调度排查 #

• 去集群资源管理UI（比如YARN ResourceManager、K8s Dashboard）查看你的应用资源分配情况：是否有pending的容器请求？是不是集群资源被其他任务占满，导致Spark无法启动executor来处理流任务？
• 核对Spark提交参数（spark.executor.instances、spark.executor.memory等）是否被无意中修改，比如资源配额被调整导致无法申请到足够的executor。

4. 验证Kafka消费者组状态 #

你提到偏移量已正确提交，用Kafka工具确认消费者组的实际状态：

kafka-consumer-groups.sh --bootstrap-server <kafka-broker>:9092 --describe --group <your-consumer-group-id>

查看每个分区的CURRENT-OFFSET和LOG-END-OFFSET：

• 如果两者一致但你确认有新消息，可能是Kafka topic的分区出现异常（比如leader副本挂了、分区数据丢失）；
• 如果存在lag但Spark显示输入行数为0，那问题还是出在Spark的消费环节。

内容的提问来源于stack exchange，提问作者Ander