Azure Synapse Notebook数值列名触发PySpark列缺失错误问询

• 该问题属于Azure Synapse SQL专用池Spark连接器的兼容性缺陷，与Spark本身的语法处理逻辑无关。
• 核心触发逻辑如下：
  1. 你在PySpark侧用反引号包裹纯数字列名的写法仅作用于Spark层的语法解析，不会影响连接器后续的SQL翻译逻辑。
  2. 当调用show()触发实际计算时，Synapse连接器会将Spark的查询计划转换为Synapse SQL侧可执行的原生SQL语句。Synapse SQL要求数字开头/纯数字的标识符必须用方括号[]包裹才能识别为列名，但当前版本的连接器没有做对应的转义适配，直接将反引号去除后拼接SQL，生成的语句为SELECT 240 FROM ...，被Synapse SQL解析为「查询数值常量240且未指定别名」，正好匹配你遇到的「空别名/列名缺失」报错。

如果要保留下推性能避免全量拉取数据，可以在读取阶段就对纯数字列做重命名：

%%spark
val df = spark.read
.option(Constants.SERVER, "db.sql.azuresynapse.net")
.synapsesql("DWH.table")
// 批量给纯数字列加前缀重命名为合法标识符
.toDF(df.columns.map(colName => if (colName.forall(Character.isDigit)) s"col_$colName" else colName): _*)
        
df.createOrReplaceTempView("table")

如果数据量不大可以先缓存到Spark内存再操作，跳过连接器的SQL翻译逻辑：

df_p = spark.sql("SELECT * FROM table").cache()
# 此时数据已经拉取到Spark内存，列名已固定不需要转义
df_p.select("240").show()

内容的提问来源于stack exchange，提问作者AnttiM