如何在Azure专用SQL池中基于Parquet文件实现增量数据合并

步骤1：将数据湖中的Parquet文件加载至专用SQL池临时表 #

使用COPY INTO命令直接加载数据湖的Parquet文件到临时表，这是比外部表更高效的批量加载方式，无需依赖外部表结构。

示例代码：

-- 创建与目标表结构完全一致的会话级临时表
CREATE TABLE #StagingTable
(
    ID INT,
    Column1 VARCHAR(100),
    Column2 DATETIME,
    -- 同步目标表的所有字段定义
);

-- 从数据湖加载Parquet数据到临时表
COPY INTO #StagingTable
FROM 'https://yourdatalake.dfs.core.windows.net/container/path/to/newdata.parquet'
WITH
(
    FILE_TYPE = 'PARQUET',
    -- 根据数据湖权限配置认证方式，示例使用托管身份
    CREDENTIAL = (IDENTITY = 'Managed Identity')
);

注：若需跨会话使用临时表，可改用##开头的全局临时表；若使用SAS密钥认证，格式为CREDENTIAL = (IDENTITY = 'SHARED ACCESS SIGNATURE', SECRET = 'your-sas-token')。

步骤2：执行MERGE操作完成增量合并 #

以指定ID为匹配条件，通过MERGE语句对目标表执行更新已有数据、插入新数据的操作。

示例代码：

MERGE INTO TargetTable AS Target
USING #StagingTable AS Source
ON Target.ID = Source.ID
WHEN MATCHED THEN
    UPDATE SET
        Target.Column1 = Source.Column1,
        Target.Column2 = Source.Column2,
        -- 列出所有需要同步更新的字段
WHEN NOT MATCHED THEN
    INSERT (ID, Column1, Column2)
    VALUES (Source.ID, Source.Column1, Source.Column2);

步骤3：清理临时表（可选） #

合并完成后删除临时表释放资源：

DROP TABLE IF EXISTS #StagingTable;

性能优化建议 #

• 维护统计信息：合并前更新临时表和目标表的统计信息，确保查询优化器生成高效执行计划：UPDATE STATISTICS #StagingTable; UPDATE STATISTICS TargetTable;
• 分区策略：若目标表数据量较大，可按ID或时间字段分区，减少MERGE操作的数据扫描范围
• 加载参数调整：使用COPY INTO时可根据数据情况调整MAXERRORS、COMPRESSION等参数，提升加载效率

内容的提问来源于stack exchange，提问作者Bilal Edelbi