Spark Structured Streaming流静态Join缓存静态数据每微批次重复执行疑问

在Spark Structured Streaming中，默认会出现你观察到的「静态数据集缓存后每个微批次仍重复执行缓存步骤」的情况，具体原因和解决方案如下：

• Structured Streaming的每个微批次都会生成独立的执行计划，你在流查询定义阶段调用的cache()属于懒加载操作，如果你没有提前触发action将静态数据实际物化到内存，缓存动作会被推迟到每个微批次执行时才触发
• 静态数据集默认会被Structured Streaming视为每次微批次都可能发生变更的数据源，单次微批次执行结束后，对应执行上下文生成的临时缓存条目会被自动清理，因此下一个微批次执行时会重新走全量缓存流程

你的静态表大小仅不足500MB，完全可以用以下两种方式彻底规避重复缓存的问题：

• 提前物化静态缓存：在启动流查询任务之前，对静态数据集执行cache()后主动调用一次action操作（比如count()、first()均可），将数据提前落到集群内存中，此时生成的缓存是全局生命周期的，不会随微批次结束被清理，后续所有微批次都会直接复用缓存内容，不会重复执行缓存步骤
• 改用广播变量优化：直接用broadcast()函数包裹静态数据集后再参与流静态Join，Spark会自动将小体积的静态表广播到所有Executor节点，不仅不需要重复加载，Join阶段还会自动使用广播哈希Join，执行性能比普通缓存方案更高，同时也能完全屏蔽底层源表更新对Join结果的影响

内容的提问来源于stack exchange，提问作者Sridhar Viswanathan