如何在PySpark SQL中禁止用户使用指定函数

有三种成熟的落地方式，可根据你的使用场景选择：

1. 函数注册层替换/注销 #

这是改造成本最低的方案，直接通过Spark的UDF注册机制，把要禁用的内置函数替换为自定义的异常抛出函数，用户调用时直接触发报错：

from pyspark.sql import SparkSession
from pyspark.sql.types import DoubleType

spark = SparkSession.builder.appName("func_disable_demo").getOrCreate()

# 定义禁用函数的报错逻辑
def disabled_func(*args):
    raise PermissionError("当前环境禁止使用该函数，请联系管理员确认")

# 批量替换需要禁用的函数，注意函数名大小写不敏感
disable_func_list = ["log", "rand"]
for func_name in disable_func_list:
    spark.udf.register(func_name, disabled_func, DoubleType())
    # 同时覆盖大写写法的匹配
    spark.udf.register(func_name.upper(), disabled_func, DoubleType())

测试时执行SELECT log(2)或者SELECT RAND()都会直接抛出异常，无法得到执行结果。

2. SQL解析阶段注入拦截规则 #

如果要避免误杀字段名、字符串中包含禁用词的场景，可以通过SparkSessionExtensions注入自定义的AST（抽象语法树）遍历规则，只有当匹配到函数调用节点，且函数名在禁用列表中时才拦截：

• 该方案需要基于Scala开发Spark扩展规则，打包后提交到PySpark环境加载，适合对Spark内核有一定了解的团队使用
• 拦截逻辑准确，不会误拦截普通字段、字符串中的同名内容

3. 网关层前置校验 #

如果是多租户的统一查询入口（比如内置的Thrift Server、自定义的SQL查询平台），可以在用户提交的SQL发送到Spark集群执行前，先通过SQL解析工具做前置校验，匹配到禁用函数直接驳回请求，不需要占用集群资源，适合团队级别的统一管控场景。

注意事项 #

• 不要直接对SQL做字符串匹配，会出现误拦截（比如字段名为log、字符串内容包含rand的情况都会被误杀），必须走语法解析识别函数调用节点
• 函数名匹配要兼容大小写，Spark SQL本身对函数名大小写不敏感
• 多租户场景下可将禁用函数列表做成动态配置，不需要重启集群即可调整规则。

内容的提问来源于stack exchange，提问作者M4rk