开放PySpark SQL查询的风险排查与危险操作轻量防范方案咨询

• 数据安全类
  • 越权访问：用户通过SQL查询未对其开放的其他数据集，或通过路径遍历读取磁盘上的非公开数据、系统敏感配置文件
  • 数据泄露：用户通过内置函数、自定义UDF将查询到的敏感数据通过公网外传
  • 数据篡改/丢失：恶意用户执行写操作修改、删除已存储的数据集，或写入恶意文件植入后门
• 服务可用性类
  • 资源耗尽：恶意/误写的超大表全表扫描、笛卡尔积、无过滤条件的join操作打满CPU、磁盘IO，影响其他正常查询
  • 无限执行：递归CTE、死循环UDF导致任务永久占坑不释放，持续消耗资源
  • 存储故障：用户生成大量小文件占满磁盘inode，或写入大文件占满存储容量导致整体服务不可用
• 合规类
  • 未脱敏的个人隐私数据、违法违规内容被用户查询导出，引发合规风险

不需要重隔离组件，可通过以下分层管控实现：

1. SQL语法层拦截 #

基于Spark原生扩展能力做前置校验：

• 注册自定义SQL校验规则，通过SparkSessionExtensions.injectCheckRule注入逻辑，白名单仅允许SELECT、WITH、EXPLAIN三类只读语法，直接拦截所有CREATE、ALTER、DROP、LOAD、INSERT、DELETE、EXPORT、DUMP等写操作/权限操作相关语法
• 配置spark.sql.allowMultipleContexts = false禁止用户创建新的Spark上下文绕过校验
• 限制递归CTE最大迭代次数：设置spark.sql.recursiveCTE.maxIterations = 100（可根据业务调整），避免无限递归

2. 函数与代码权限管控 #

• 如果仅开放SQL查询入口：直接禁用所有高风险内置函数，包括input_file_name()、spark_partition_id()等可以获取存储路径、集群信息的函数，同时禁用CREATE FUNCTION语法禁止用户自定义UDF
• 如果开放PySpark代码提交入口：用RestrictedPython做代码语法重写，仅白名单放行pyspark.sql.functions等安全模块导入，拦截所有os、sys、socket、subprocess等系统/网络相关模块的导入，禁用open()、eval()、exec()等内置危险函数

3. 资源与访问管控 #

• 磁盘权限：将数据集存储目录的运行用户权限设为只读，仅开放专属临时shuffle目录为可写，同时给Spark运行用户设置磁盘配额，禁止访问系统目录、其他用户数据目录，无需chroot仅用Linux原生文件权限即可实现
• 网络管控：通过iptables给Spark运行用户配置网络规则，仅允许访问集群内部的存储、元数据服务端口，禁止所有公网访问请求，避免数据外传
• 运行时长限制：配置spark.sql.session.timeout设置单查询最大运行时长，调度层额外做巡检，超过时长的任务直接调用Spark API强制终止
• 资源配额：给每个用户的查询分配独立队列，限制单查询最大CPU核数、内存上限、shuffle分区上限，避免单个任务打满集群资源

4. 元数据层隔离 #

不直接对接Spark原生Catalog，自己封装一层元数据代理，用户仅能看到被授权访问的数据集，查询非授权表直接返回表不存在，从根源避免越权访问风险。

内容的提问来源于stack exchange，提问作者M4rk