Spark Connect SQL解析异常求助（Spark 3.5.3/3.5.4）

问题场景 #

本地部署全新Spark 3.5.4，执行以下命令启动Spark Connect服务：

$SPARK_HOME/sbin/start-connect-server.sh --packages org.apache.spark:spark-connect_2.12:3.5.4

使用Python客户端创建会话执行基础SQL（如select 1 as test）时，持续触发解析异常，堆栈跟踪指向AbstractSqlParser.scala第69行。

会话代码：

spark = SparkSession.builder.remote("sc://localhost:15002").getOrCreate()
spark.sql("select 1 as test").show()

解决方案 #

1. 关闭正则式列名解析配置 #

Spark 3.x默认开启quotedRegexColumnNames，可能导致简单SQL被误解析。可通过两种方式修改配置：

• 启动命令追加参数：

  $SPARK_HOME/sbin/start-connect-server.sh --packages org.apache.spark:spark-connect_2.12:3.5.4 --conf spark.sql.parser.quotedRegexColumnNames=false
  

• 或编辑$SPARK_HOME/conf/spark-defaults.conf，添加：

  spark.sql.parser.quotedRegexColumnNames false
  

2. 确保依赖Scala版本与Spark匹配 #

Spark 3.5.4支持Scala 2.12和2.13分支，需确认本地Spark安装的Scala版本与启动命令中spark-connect的Scala版本一致：

• 若本地Spark基于Scala 2.13编译，调整启动命令：

  $SPARK_HOME/sbin/start-connect-server.sh --packages org.apache.spark:spark-connect_2.13:3.5.4
  

3. 显式指定SQL方言 #

在Python客户端会话中强制指定Spark SQL方言，避免解析逻辑混淆：

spark = SparkSession.builder.remote("sc://localhost:15002") \
    .config("spark.sql.dialect", "spark") \
    .getOrCreate()
spark.sql("select 1 as test").show()

4. 获取完整异常日志定位问题 #

查看Spark Connect服务日志（默认路径$SPARK_HOME/logs，日志文件名包含connect-server），找到ParseException的完整错误描述（如具体语法错误点），根据实际信息调整配置。

内容的提问来源于stack exchange，提问作者bbnt