如何在Serverless Synapse中生成仅含表头的空Parquet文件？

问题分析 #

当Serverless Synapse的CREATE EXTERNAL TABLE AS SELECT (CETAS)返回空结果时，默认会生成0字节的_文件，这类文件不包含Parquet schema信息，会导致下游流程中断。直接使用TOP 0的查询无法生成带表头（schema）的空文件，因为Parquet需要至少一个行组来存储结构元数据。

解决步骤 #

1. 预先创建带schema的空Parquet模板文件 #

先通过CETAS生成一个包含一行NULL数据的Parquet文件，该文件会携带完整的schema信息，作为后续的模板使用：

IF EXISTS(SELECT * FROM SCHEMA.TABLES WHERE TABLE_NAME = 'TemplateTable' AND TABLE_SCHEMA = 'dbo') 
DROP EXTERNAL TABLE [dbo].[TemplateTable]; 

CREATE EXTERNAL TABLE [dbo].[TemplateTable] 
WITH ( 
    LOCATION = 'template/empty_template', -- 模板文件存储路径
    DATA_SOURCE = Some_Source, 
    FILE_FORMAT = [ParquetFormat] 
) AS 
SELECT CAST(NULL AS NVARCHAR(50)) AS Id; -- 与目标表一致的列定义

执行后，存储账户的template/empty_template路径下会生成一个带schema的Parquet文件，保留该文件作为模板。

2. 动态生成目标文件（空结果时替换为模板） #

执行CETAS查询后，判断结果行数，若为空则删除自动生成的0字节_文件，复制模板文件到目标位置：

IF EXISTS(SELECT * FROM SCHEMA.TABLES WHERE TABLE_NAME = 'MyTableName' AND TABLE_SCHEMA = 'dbo') 
DROP EXTERNAL TABLE [dbo].[MyTableName]; 

DECLARE @row_count INT;

-- 执行CETAS生成结果文件
CREATE EXTERNAL TABLE [dbo].[MyTableName] 
WITH ( 
    LOCATION = 'InputLocation', -- 目标存储路径
    DATA_SOURCE = Some_Source, 
    FILE_FORMAT = [ParquetFormat] 
) AS 
SELECT TOP 0 CAST(NULL AS NVARCHAR(50)) AS Id; -- 你的空结果查询

SELECT @row_count = @@ROWCOUNT;

-- 若结果为空，替换为模板文件
IF @row_count = 0
BEGIN
    -- 删除自动生成的0字节下划线文件
    EXEC sp_delete_files 
        @data_source_name = 'Some_Source',
        @directory_path = 'InputLocation',
        @file_name = '_';

    -- 复制模板文件到目标路径
    EXEC sp_copy_files
        @data_source_name = 'Some_Source',
        @source_directory_path = 'template/empty_template',
        @source_file_name = '*.parquet', -- 匹配模板文件
        @destination_directory_path = 'InputLocation';
END

关键说明 #

• sp_delete_files和sp_copy_files是Synapse Serverless内置的存储过程，用于管理存储账户中的文件，需确保数据源的身份验证具备读写权限。
• 模板文件的列结构必须与目标查询的列结构完全一致，否则下游读取会出现schema不匹配的问题。
• 若查询返回非空结果，CETAS会正常生成带数据的Parquet文件，无需替换模板。

内容的提问来源于stack exchange，提问作者ICoder