Azure Synapse Spark Pool中Spark SQL的UPDATE等命令无法使用求助

问题1：UPDATE命令报错“UPDATE destination only supports Delta Sources.” #

• 原因：Spark SQL的UPDATE操作仅支持Delta Lake格式的表，你的目标表不是Delta格式。
• 解决办法：
  1. 新建表时直接用Delta格式：

     CREATE TABLE dummytable1
     USING DELTA
     AS SELECT * FROM your_source_table;
     

  2. 已有非Delta表转换为Delta表：

     CONVERT TO DELTA dummytable1;
     

  转换完成后再执行UPDATE命令即可正常运行。

问题2：DROP COLUMN命令报错“DROP COLUMN is only supported with v2 tables.” #

• 原因：Spark的DROP COLUMN操作仅支持DataSource V2类型的表，Delta Lake表属于V2表，旧的Hive格式或V1数据源表不支持该操作。
• 解决办法：
  1. 先把表转成Delta格式（参考问题1的转换方法），Delta表默认支持V2操作，直接执行：

     ALTER TABLE dummytable1 DROP COLUMN NAME;
     

  2. 不想转Delta的话，就通过重建表间接删除列：

     CREATE TABLE new_dummytable1 AS SELECT col1, col2, col3 FROM dummytable1; -- 列出除NAME外的所有列
     DROP TABLE dummytable1;
     ALTER TABLE new_dummytable1 RENAME TO dummytable1;
     

问题3：SELECT * EXCEPT (NAME) FROM dummytable1; 报错语法错误 #

• 原因：Spark SQL的* EXCEPT语法需要Spark 3.0及以上版本支持，若你的Synapse Spark Pool用的是Spark 2.x版本，就会触发语法错误；部分3.x版本环境还需开启对应配置。
• 解决办法：
  1. 升级Synapse Spark Pool的Spark版本到3.0+：在Synapse Studio里找到对应Spark池，把版本调整为3.1或更高。
  2. 无法升级的话，手动列出所需列替代：

     SELECT col1, col2, col3 FROM dummytable1; -- 列出除NAME外的所有列
     

  3. 已用Spark 3.x仍报错的话，先开启Session级配置再执行：

     SET spark.sql.parser.quotedRegexColumnNames=true;
     SELECT * EXCEPT (NAME) FROM dummytable1;
     

内容的提问来源于stack exchange，提问作者AAA6