使用UDF过滤Spark DataFrame：SQL查询优化及报错解决求助

1. 正确注册UDF并编写Spark SQL #

你之前的UDF注册方式和SQL写法都存在问题，以下是修正后的可行方案：

写法一：直接用UDF过滤主表

// 定义UDF并正确注册到Spark SQL上下文
val filterudf = udf((div: String) => div == "078")
spark.udf.register("filterudf", filterudf)

// 将DataFrame注册为临时表，供SQL查询使用
student.createOrReplaceTempView("student")

// 直接用注册好的UDF过滤，Spark会自动启用代码生成等优化
val resultDF = spark.sql("SELECT * FROM student WHERE filterudf(div)")

写法二：子查询获取符合条件的div后关联（适合复杂去重场景）

如果实际逻辑需要先对div去重再过滤，用子查询嵌套即可，无需将数据拉取到Driver节点：

spark.udf.register("filterudf", filterudf)
student.createOrReplaceTempView("student")

val resultDF = spark.sql("""
    SELECT s.* 
    FROM student s
    WHERE s.div IN (
        SELECT DISTINCT div 
        FROM student 
        WHERE filterudf(div)
    )
""")

2. 原写法的错误点 #

• registerTemplate不是Spark注册SQL UDF的正确API，必须用spark.udf.register才能让UDF在SQL中生效
• SQL语法错误：UDF不能直接接收子查询作为参数，你原写法里的filterudf(select distinct div from student).div完全不符合SQL规范，应该将UDF用于子查询的WHERE条件中

3. 性能优化建议（针对示例场景） #

你示例中的UDF逻辑只是简单的div == "078"，完全不需要使用UDF，直接用原生SQL条件性能更优，Spark优化器能做更多底层优化：

student.createOrReplaceTempView("student")
val resultDF = spark.sql("SELECT * FROM student WHERE div = '078'")

如果实际业务中UDF逻辑更复杂（比如多条件判断、正则匹配等），再使用上述UDF注册方案即可。

内容的提问来源于stack exchange，提问作者zeeshan