PySpark生成错误列名：部署服务器后extra_info解析报错

问题重现 #

本地运行正常的SQL代码：

SELECT uuid,
       extra_info,
       name
FROM table1
WHERE uuid is not null 

部署到服务器后触发Spark解析异常：

org.apache.spark.sql.AnalysisException: cannot resolve 'extra_info' given input columns
'Project [name#7, 'extra_info, uuid#62]

原因分析 #

1. SQL代码部署时被错误转义：CI/CD工具、部署脚本或服务器端的SQL预处理逻辑，在传递代码时给extra_info字段名添加了不完整的反引号/单引号，导致Spark无法识别合法字段名。
2. 本地与服务器表结构不一致：服务器端的table1可能不存在extra_info字段，或字段名存在大小写差异（Spark默认大小写敏感），但错误信息中的引号问题更指向转义错误。
3. 编码或复制粘贴问题：从本地复制SQL到服务器时引入了不可见特殊字符，导致字段名被解析为带异常引号的格式。

解决方法 #

• 重新部署纯净SQL代码：直接在服务器端编写或从纯文本编辑器复制SQL，避免经过带格式的文档/工具，确保字段名无额外引号、特殊字符。
• 排查部署流程中的SQL处理逻辑：检查是否有脚本自动给字段名添加引号，或字符替换逻辑出错，修改脚本保证SQL代码原样部署。
• 验证服务器端表结构：执行DESCRIBE table1;确认extra_info字段存在且名称完全匹配（含大小写），若字段名实际为其他形式，同步调整SQL中的字段名。
• 调整Spark大小写敏感配置（可选）：在Spark配置中添加spark.sql.caseSensitive=false，避免字段名大小写差异引发的解析错误，但优先保证代码与表结构一致。

内容的提问来源于stack exchange，提问作者PiNaKa30