Spark Structured Streaming为何每个微批重复编译代码？

1. 行为判定 #

这是预期行为，不属于异常情况。默认配置下，无状态的Structured Streaming微批作业会在每个微批触发时重新生成并编译代码。

2. 重复生成代码的原因 #

核心源于Spark代码生成机制的设计背景：

• Spark的代码生成最初为批处理场景打造，微批模式早期直接复用了批处理的执行流程，每个微批被视为独立的小批任务，执行计划会被重新解析、优化并生成代码，即便转换逻辑完全一致。
• 虽然业务逻辑不变，但每个微批的输入元数据（比如Kafka的偏移范围、数据分区信息）会变化，早期代码生成逻辑未针对“逻辑固定但输入元数据变化”的场景做复用优化。
• 代码生成缓存默认依赖执行计划的哈希值，而微批场景中部分执行计划属性（如输入数据源范围）会被标记为动态变化，导致缓存命中失败，触发重新生成。

3. CodeGenerator缓存的作用 #

这个缓存可以有效缓解重复生成代码的问题，但需注意以下细节：

• 该缓存基于执行计划的稳定哈希值（忽略微批间变化的临时属性）缓存生成的代码。如果作业逻辑完全固定，无状态且无动态执行计划节点，缓存会命中，后续微批将复用已生成的代码，避免重复编译。
• 要确保缓存生效，需避免使用动态生成的表达式、临时视图或其他会导致执行计划哈希值变化的逻辑。
• 若使用的是Spark 2.x版本，缓存优化可能不够完善，升级到Spark 3.x及以上版本能获得更好的复用效果——3.x版本针对Structured Streaming的代码复用做了专门优化。

内容的提问来源于stack exchange，提问作者epa095