Spark Structured Streaming writeStream无输出无报错问题排查

• 事件时间字段异常：首先确认create_raw_features转换输出的event_timestamp字段为Timestamp类型，Spark不会自动将字符串类型的时间识别为事件时间，会导致水位线、窗口逻辑完全不生效。同时排查字段名拼写、大小写是否匹配，若字段值全为NULL也会无聚合结果输出。另外要确认时区匹配问题，若数据时间和Spark会话时区不一致，会导致事件时间判断异常。
• 窗口触发条件未满足：你配置了2天的水位线延迟阈值，带水位线的聚合在默认Append输出模式下，只有当全局事件时间最大值 >= 窗口结束时间 + 延迟阈值时，才会触发对应窗口的结果输出。以你的7天滑动、1天步进的窗口为例，若某窗口的结束时间为2024-06-07 00:00:00，需要至少有一条数据的event_timestamp >= 2024-06-09 00:00:00时，该窗口的聚合结果才会输出，未触发前数据只会缓存在内存中不会写入目标表。
• 输出模式配置问题：代码中未显式指定outputMode，默认使用Append模式，仅输出已关闭的窗口结果。你可以临时修改为outputMode("complete")测试，若修改后有数据输出，即可确认是触发条件未满足导致的无输出，而非逻辑错误。示例修改代码：

query = result \
    .writeStream \
    .outputMode("complete") \
    .format("memory") \
    .queryName("test") \
    .option("truncate","false").start()

• Kafka消费端问题：排查kafka_options配置：
  • 是否配置auto.offset.reset = latest，若作业启动后Kafka对应主题无新消息写入，不会消费到任何历史数据
  • Kafka服务地址、主题名、权限配置是否正确，可直接写入Kafka原始流到内存表测试消费是否正常
• 上游转换过滤掉所有数据：排查create_raw_features逻辑中是否存在过滤条件，将所有输入数据过滤丢弃。可通过query.lastProgress查看流作业的输入行数，若inputRowsPerSecond始终为0，则代表没有有效数据进入聚合逻辑。

内容的提问来源于stack exchange，提问作者fuyi