Azure Synapse PySpark创建外部表时STRING转varchar(8000)的问题求助

• 这并非Bug，是Synapse无服务器池的默认类型映射规则：Spark的STRING类型在同步到外部Delta表（对接SQL元数据时），默认会被映射为varchar(8000)。
• 要将Description列设为varchar(max)，需在创建表时显式指定目标类型，而非依赖Spark的STRING默认映射，具体有两种实现方式：
  1. 直接在spark.sql()的建表语句中使用SQL兼容类型定义：

     CREATE EXTERNAL TABLE delta.`abfss://container@storageaccount.dfs.core.windows.net/path`
     (
         Name VARCHAR(8000),
         Description VARCHAR(MAX)
     )
     USING DELTA
     

  2. 若通过DataFrame写入后创建外部表，可先设置Spark配置强制STRING映射为varchar(max)，再执行操作：

     spark.conf.set("spark.sql.parquet.varcharMaxEnabled", "true")
     

• 注意：Synapse无服务器池对Delta表的元数据处理会对齐SQL端的类型约束，显式指定目标类型是最稳妥的方案，避免依赖默认映射引发类型不符问题。

内容的提问来源于stack exchange，提问作者Sven