PySpark SQLTransformer处理带空格列名DataFrame异常问题咨询

问题复现场景 #

• 依赖引入

from  pyspark.ml.feature import SQLTransformer
from transform.Base import Transform

• 源DataFrame样例数据（从Cassandra加载得到）

+----+--------------------+-------+---+
|time|   MEM UTI PERC %   |devId  |Lid|
+----+--------------------+-------+---+
| 482|         8.661052632|      6| 20|
| 654|         9.162190612|      6| 20|
| 364|         8.219230769|      6| 20|

• 初始错误写法1：直接引用带空格列名，触发语法报错

self.sqlstatement = "SELECT Time,MEM UTI PERC % FROM __THIS__ WHERE "

sqltrans = SQLTransformer()
sqltrans.setStatement(self.sqlstatement)
new_df = sqltrans.transform(sparkdf)

报错信息：

mismatched input 'UTI' expecting {<EOF>, ';'}(line 1, pos 19)

• 初始错误写法2：用双引号包裹特殊列名，语法正常但返回值异常
  修改后的SQL：

SELECT Time,"MEM UTI PERC %" FROM __THIS__ WHERE

异常输出（整列值被替换为列名字符串）：

+----+--------------+
|Time|MEM UTI PERC %|
+----+--------------+
| 212|MEM UTI PERC %|
|  26|MEM UTI PERC %|

• 预期正确输出

+----+--------------+
|Time|MEM UTI PERC %|
+----+--------------+
| 212|20.7          |
|  26|40.0          |

根因分析 #

• Spark SQL语法规则中，双引号包裹的内容会被解析为字符串常量，而非列/表标识符，因此会直接返回固定字符串值，不会读取对应列的存储数据。
• 未做转义的带空格、特殊符号（如本例的%）的标识符，会被SQL解析器按空格拆分为多个独立语法片段，触发语法匹配错误。
• 源数据中时间列的原始列名为全小写time，若集群开启了SQL大小写敏感校验，直接写大写Time会额外触发列不存在的报错。
• 原SQL末尾WHERE关键字后未拼接过滤条件，本身也存在语法风险。

正确解决方法 #

Spark SQL规定，包含空格、特殊字符、与关键字重名的标识符，需要用反引号（`） 包裹做转义，修正后的代码如下：

# 1. 列名大小写和源数据保持一致，特殊列用反引号包裹
# 2. WHERE后补全过滤逻辑，测试阶段可写1=1占位避免语法错误
self.sqlstatement = "SELECT time,`MEM UTI PERC %` FROM __THIS__ WHERE 1=1"

sqltrans = SQLTransformer()
sqltrans.setStatement(self.sqlstatement)
new_df = sqltrans.transform(sparkdf)

运行后即可正常返回列的数值内容，得到预期输出。

长期优化建议 #

如果后续需要频繁使用这类特殊列名，可以在数据读取完成后先做一步列名标准化，批量替换空格、特殊符号为下划线，避免后续写SQL反复转义：

import re
# 批量将列名中的空格、%替换为下划线，去除首尾多余符号
clean_columns = [re.sub(r'[ %]', '_', col).strip('_') for col in sparkdf.columns]
sparkdf = sparkdf.toDF(*clean_columns)
# 处理后特殊列名变为MEM_UTI_PERC，后续SQL可直接引用无需转义

内容的提问来源于stack exchange，提问作者sandejai