如何使用PySpark执行存储在列中的SQL表达式？

问题分析 #

你需要逐行执行存储在rules列中的SQL条件片段（本质是CASE WHEN的主体部分），基于当前行的col1和col2值计算结果。selectExpr无法实现的原因是它仅支持全局静态SQL表达式，无法动态引用每行的rules字段内容。

解决方案 #

核心思路是将每行的rules片段拼接成完整的CASE ... END SQL语句，再通过expr函数逐行执行该动态生成的表达式。

步骤1：创建示例DataFrame #

from pyspark.sql import SparkSession
from pyspark.sql.functions import expr, concat_ws

# 初始化SparkSession
spark = SparkSession.builder.appName("execute_column_rules").getOrCreate()

# 构造示例数据
data = [
    ("rule1", "test", "when col1 is 'rule1' then 'hello' when col2 is 'yyy' then 'world'"),
    ("rule2", "test1", "when col2 is 'abc' then 'foo' when col1 is null then 'bar'")
]

df = spark.createDataFrame(data, ["col1", "col2", "rules"])

步骤2：执行列中的规则表达式 #

通过concat_ws将rules字段拼接为完整的CASE语句，再用expr函数执行该表达式生成result列：

# 拼接完整CASE语句并执行
df_result = df.withColumn("result", expr(concat_ws(" ", "CASE", df.rules, "END")))

# 查看结果
df_result.show(truncate=False)

执行结果 #

输出与你期望的一致：

+-----+-----+------------------------------------------------------+------+
|col1 |col2 |rules                                                |result|
+-----+-----+------------------------------------------------------+------+
|rule1|test |when col1 is 'rule1' then 'hello' when col2 is 'yyy' then 'world'|hello |
|rule2|test1|when col2 is 'abc' then 'foo' when col1 is null then 'bar'|null  |
+-----+-----+------------------------------------------------------+------+

注意事项 #

• 确保rules列中的表达式语法符合Spark SQL规范，比如字符串常量需用单引号包裹。
• 若rules包含复杂表达式（如函数调用），只要符合Spark SQL语法，该方法同样适用。

内容的提问来源于stack exchange，提问作者pkp