Spark SQL中createOrReplaceTempView是否不计算结果？UDF重复调用求助

首先明确：createOrReplaceTempView确实不会触发真正的计算——Spark是懒执行模型，只有遇到write、show这类action操作时才会生成物理执行计划并执行计算。你看到的物理计划里UDF被多次调用，是因为Catalyst优化器在解析SQL时，把结构体字段的访问和UDF调用展开了，导致UDF被重复执行。

下面给你几个可行的解决方案：

1. 使用Dataset API替代SQL（推荐） #

直接用DataFrame的API来处理，先把UDF的结果计算出来存为列，后续直接访问结构体字段，这样能确保UDF只执行一次：

import org.apache.spark.sql.functions._

// 先计算UDF结果，存储为结构体列
val dataFrame1 = dataFrame
  .withColumn("col1", udf1(col("a")))
  .withColumn("col2", udf2(col("a")))

// 直接访问结构体中的字段
val dataFrame2 = dataFrame1.select(
  col("col1.x"), col("col1.y"), col("col1.z"),
  col("col2.x"), col("col2.y"), col("col2.z")
)

dataFrame2.write.parquet("path")

2. 使用CTE（公共表表达式）固定UDF计算逻辑 #

如果一定要用SQL，可以用CTE来明确先执行UDF计算，再访问字段，避免优化器展开重复调用：

// 用CTE定义临时结果集，确保UDF只计算一次
val dataFrame2 = sql("""
  WITH temp_table AS (
    SELECT udf1(a) AS col1, udf2(a) AS col2 FROM tableName1
  )
  SELECT col1.x, col1.y, col1.z, col2.x, col2.y, col2.z FROM temp_table
""")

dataFrame2.write.parquet("path")

3. 缓存UDF计算结果 #

如果数据量不大，可以缓存UDF计算后的DataFrame，这样后续访问字段时直接用缓存的结果：

var dataFrame1 = sql("select udf1(a) as col1, udf2(a) as col2 from tableName1")
// 缓存DataFrame，触发一次计算后复用结果
dataFrame1.cache()
// 可选：主动触发缓存（也可以等后续action自动触发）
dataFrame1.count()

dataFrame1.createOrReplaceTempView("tableName2")
var dataFrame2 = sql("select col1.x,col1.y,col1.z,col2.x,col2.y,col2.z from tableName2")
dataFrame2.write.parquet("path")

额外优化：标记UDF为确定性函数 #

如果你的UDF是确定性的（相同输入总是返回相同输出），注册时可以标记为deterministic=true，帮助Spark优化器识别并复用UDF结果：

// 假设udf1是自定义函数，注册时指定确定性
spark.udf.register(
  "udf1", 
  (input: YourInputType) => { /* 你的UDF逻辑 */ }, 
  YourStructType
).setDeterministic(true)

这样Spark会更智能地优化执行计划，避免不必要的重复计算。

内容的提问来源于stack exchange，提问作者cxco