PySpark读取Hive表报错：Mismatched input '-' expecting <EOF>求助

问题根源 #

这个偶发错误一般是Spark SQL解析器处理Hive表元数据或查询语句时，碰到了不符合语法的-字符导致的。大概率和Hive表的分区字段、库/表名带-，或者Spark与Hive版本不兼容有关。

可用的规避配置 #

试试以下几个Spark配置项：

• 开启spark.sql.parser.quotedRegexColumnNames为true：允许用反引号包裹带特殊字符的列名、表名，让解析器正确识别含-的标识符。
• 关闭spark.sql.hive.convertMetastoreOrc为false（如果是ORC格式表）：禁用Spark对Hive ORC表的元数据转换，强制用Hive原生解析逻辑，避免转换时的语法冲突。
• 升级Spark/Hive版本：如果是版本兼容问题，换成官方推荐的稳定组合（比如Spark 3.x搭配Hive 2.x/3.x），能修复不少已知的解析器bug。

官方文档相关说明 #

Spark官方文档里关于SQL解析器和Hive集成的部分有这些说明：

spark.sql.parser.quotedRegexColumnNames：设为true时，支持用反引号包裹正则表达式风格的列名，适配含特殊字符的标识符。
spark.sql.hive.convertMetastoreOrc：控制是否将Hive ORC表转为Spark原生ORC格式，关闭后会用Hive的SerDe处理表数据。

另外，Spark与Hive集成章节明确提到，版本不匹配可能引发元数据解析异常，建议使用官方验证过的版本搭配。

额外小技巧 #

• 检查涉及的Hive表（包括分区字段）命名，尽量别用-这类特殊字符，换成下划线_更稳妥。
• 读表时用反引号把表名包起来，比如read("aaaa.bbbb")，强制解析器正确识别标识符。

内容的提问来源于stack exchange，提问作者PicxyB