如何预编译Spark优化计划并复用执行计划，避免重复计算？

一、关于"预编译"Spark优化计划 #

Spark的Catalyst优化器是动态生成执行计划的，它依赖运行时元数据（如数据分区信息、统计量）和输入数据实际情况，所以严格意义上的"预编译"（类似Java代码编译生成可复用二进制计划）无法实现，但可通过以下方式减少重复计算优化计划的开销：

• 复用逻辑执行计划模板：把固定转换逻辑封装成可复用的函数或类，每日运行时直接调用传入当日输入数据，避免重复构建相同的lineage。比如将数千次转换封装为Dataset/DataFrame生成函数，无需每次重写所有转换步骤。
• 提前缓存逻辑计划关键节点：若某些转换组合固定不变，可预先构建好这部分LogicalPlan，运行时直接与当日输入数据拼接，减少重复构建lineage的时间。

二、每日重复作业的执行计划复用 #

针对每日相同列集合、相同转换逻辑的作业，可通过以下手段复用优化后的执行计划，降低Catalyst开销：

• 自定义物理计划缓存：Spark内部CachedPlan默认针对数据，你可扩展Catalyst优化器，将经过优化的PhysicalPlan缓存起来，后续作业逻辑计划（列集合、转换逻辑）匹配时直接复用。需注意：若输入数据统计量（如分布、分区数）变化大，复用旧计划可能影响性能，需添加校验逻辑。
• Spark SQL视图复用：若作业基于Spark SQL，可将固定查询逻辑创建为临时视图或永久视图，Spark会缓存视图的逻辑计划，后续查询时无需重新解析SQL和构建lineage，直接基于视图逻辑计划优化。永久视图需保证元数据一致性，确保列结构无变化。
• 减少不必要的优化规则：通过spark.sql.optimizer.excludedRules配置排除不需要的优化规则，减少优化阶段耗时，但需谨慎操作，避免影响执行计划性能。

三、大量转换的lineage构建优化 #

面对数千次转换导致的lineage构建瓶颈，还可做以下优化：

• 合并冗余转换：手动梳理逻辑，合并可简化的步骤。比如连续filter合并为一个，多次select相同列简化为一次，降低lineage的深度和复杂度。
• 开启全阶段代码生成：Spark Tungsten引擎支持代码生成，开启spark.sql.codegen.wholeStage（默认开启）可将物理计划转为Java字节码，减少运行时解释开销，整体提升作业性能。
• 拆分作业阶段并缓存：将数千次转换拆分为多个独立阶段，每个阶段结果用cache()或persist()缓存，后续阶段基于缓存数据运行，降低单个阶段的lineage复杂度。

内容的提问来源于stack exchange，提问作者user19627118