Spark SQL如何无需UDF计算列中字符串形式的数学表达式？

情况1：表达式类型可枚举 #

如果你的Formula列只有有限几种固定的数学表达式（比如示例中的x+y、x），可以直接用CASE WHEN语句（Spark SQL或DataFrame API）实现，无需UDF：

Spark SQL 写法

SELECT
  `Column A`,
  `Column B`,
  Formula,
  CASE Formula
    WHEN 'x+y' THEN `Column A` + `Column B`
    WHEN 'x' THEN `Column A`
    WHEN 'y' THEN `Column B`
    WHEN 'x*y' THEN `Column A` * `Column B`
    -- 根据实际需求添加更多表达式分支
  END AS `Column D`
FROM your_table;

DataFrame API 写法（PySpark）

from pyspark.sql import functions as F

df = df.withColumn(
    "Column D",
    F.when(F.col("Formula") == "x+y", F.col("Column A") + F.col("Column B"))
     .when(F.col("Formula") == "x", F.col("Column A"))
     .when(F.col("Formula") == "y", F.col("Column B"))
     -- 追加其他表达式的判断分支
)

情况2：表达式为任意数学表达式 #

如果Formula列包含无法枚举的任意数学表达式，Spark的内置函数没有直接支持动态执行每行字符串表达式的能力，这种场景下通常需要使用UDF实现。

不过可以用一种变通的动态SQL方案（但效率较低，仅作参考）：

1. 先将Formula中的x、y替换为对应列名，生成可执行的SQL表达式字符串
2. 收集所有唯一的表达式字符串，生成包含所有分支的CASE WHEN语句
3. 执行动态SQL完成计算

但这种方法实现复杂，且当表达式种类过多时性能较差，不如直接使用UDF简洁高效。

内容的提问来源于stack exchange，提问作者Abhra