PySpark访问DataFrame列并进行字符串比较报错，如何修复？

你遇到的报错核心原因是用Python原生的if语句判断Spark Column对象——Spark的Column是分布式的表达式对象，不是单个布尔值，没法直接在Python控制流里当作bool使用，必须用Spark提供的函数构建条件逻辑。

修改方案 #

首先确保导入Spark SQL函数：

from pyspark.sql import functions as F

把check_name函数改成直接返回Spark布尔类型Column，用when/otherwise实现分支逻辑，替换Python的if：

def check_name(df):
    # 用Spark的when构建分支条件，返回每行对应的布尔判断结果
    return F.when(df.name == "ABC", df.Value < 0.80).otherwise(df.Value == 0)

为什么这样可行 #

修改后的函数返回的是Spark Column对象，代表分布式数据集里每行的布尔判断结果，完全符合myQuery中when函数的要求——when接收的就是Spark的布尔表达式，而非Python原生的bool值。

你的myQuery函数无需修改，传入修改后的check_name即可正常运行：

def myQuery(myFunction):
    df.filter(...).groupBy(...).withColumn('Result', F.when(myFunction(df), 0).otherwise(1))

内容的提问来源于stack exchange，提问作者n179911a