Synapse专用池创建外部表读取分区PARQUET分区列返回NULL问题

问题核心原因 #

Azure Synapse 专用SQL池原生不支持自动解析Hive风格分区路径中的键值作为分区列值，这是和无服务器SQL池的核心差异，你遇到的分区列返回NULL属于预期现象，可通过以下几种方案解决：

方案1：手动/批量注册分区（无需修改现有数据） #

这是最常用的兼容方案，操作步骤如下：

1. 建表时显式指定分区列，分区列放在所有非分区列之后声明

CREATE EXTERNAL TABLE myTable
(   
    col03   varchar(8000),
    col04   int,
    col05   float,
    col06   float,
    col07   bigint,
    col08   datetime2,
    col09   varchar(8000)
)  
-- 分区列单独声明，类型和路径中定义的格式匹配
PARTITIONED BY (col01 int, col02 Date)
WITH (
    LOCATION = 'A/B/TransactionsHistoryV1/LAST7Days/',  
    DATA_SOURCE = SilverAzureDataLakeStore,  
    FILE_FORMAT = Parquet
)

2. 为每个存在的分区注册对应存储路径

ALTER EXTERNAL TABLE myTable ADD 
PARTITION (col01=5241, col02='2021-11-09') 
LOCATION = 'col01=5241/col02=2021-11-09/';

如果分区数量多，可以写脚本遍历ADLS的目录结构，自动生成所有分区的注册语句批量执行即可。

方案2：Parquet文件内置分区列（推荐长期使用） #

如果可以调整上游数据生成逻辑，在写出Parquet文件时将col01、col02两个分区字段直接写入文件的行数据中，不需要额外注册分区，建表时直接将两个字段加入普通列定义即可正常读取，后续新增分区也不需要额外操作，维护成本最低。

方案3：通过无服务器SQL池中转 #

如果无法修改上游生成逻辑，也不想批量注册分区，可以用无服务器SQL池的filepath()函数读取全量数据（含分区列），通过CETAS（CREATE EXTERNAL TABLE AS SELECT）将完整数据输出到新的ADLS目录，专用SQL池直接读取新目录的Parquet文件即可。

你之前尝试的调整字段顺序、修改LOCATION通配符的操作无法解决问题，因为专用SQL池不会自动从文件路径提取字段值。当前Apache Delta格式确实不支持Synapse专用SQL池原生读取，不建议走这个路径。

内容的提问来源于stack exchange，提问作者Vinny