SparkSQL字段名含#触发ParseException的解决方法咨询

问题场景 #

在Databricks中执行Hive表间的字段插入操作时，触发SQL解析错误。原执行语句：

INSERT INTO <BBDD_NAME>.<TABLE1_NAME> (<FIELD_1>, <FIELD_2>) SELECT <FIELD_1>, <FIELD_2># FROM <BBDD_NAME>.<TABLE2_NAME>

错误提示：

Error in SQL statement: ParseException: mismatched input '#' expecting {, ';'}

问题根源是源表TABLE2（JDE的F0911表）存在名称包含#的字段，该表通过Spark自动推断Schema导入Databricks时无异常，但SQL解析器会将#误判为注释标识或无效语法。

可行解决方案 #

1. 用反引号包裹特殊字段名 #

Databricks SQL支持使用反引号（`）包裹包含特殊字符的字段名，让解析器将其识别为完整的字段名称。修改后的SQL：

INSERT INTO <BBDD_NAME>.<TABLE1_NAME> (<FIELD_1>, <FIELD_2>) 
SELECT <FIELD_1>, `<FIELD_2>#` FROM <BBDD_NAME>.<TABLE2_NAME>

2. 导入阶段重命名字段（长期优化） #

如果需要频繁操作该表，建议在Spark导入时直接重命名含特殊字符的字段，避免每次写SQL都要加反引号。示例Scala代码：

// 读取JDE源表
val f0911Df = spark.read.format("jdbc")
  .option("url", "JDE_JDBC_URL")
  .option("dbtable", "F0911")
  .load()

// 重命名含#的字段
val renamedDf = f0911Df.withColumnRenamed("<FIELD_2>#", "FIELD_2_CLEAN")

// 保存为Databricks Hive表
renamedDf.write.mode("overwrite").saveAsTable("<BBDD_NAME>.TABLE2_CLEAN")

后续操作重命名后的表即可避免特殊字符带来的语法问题。

内容的提问来源于stack exchange，提问作者Cristian Ispan