Azure Synapse专用SQL池：如何用CETAS按CustomerID分区并分文件夹存外部表？

完全可以通过CETAS的分区外部表语法实现自动按CustomerID创建专属文件夹，不用手动执行1万条CETAS语句，直接一条语句搞定100TB数据的分区存储。

步骤1：准备外部文件格式和数据源 #

先定义Parquet存储格式和指向Azure Blob容器的外部数据源：

-- 创建Parquet文件格式（用Snappy压缩平衡存储大小与读写性能）
CREATE EXTERNAL FILE FORMAT ParquetFormat
WITH (
    FORMAT_TYPE = PARQUET,
    DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec'
);

-- 创建指向Blob容器的外部数据源
CREATE EXTERNAL DATA SOURCE CustomerBlobStorage
WITH (
    LOCATION = 'abfss://<你的容器名>@<你的存储账户名>.dfs.core.windows.net/',
    TYPE = HADOOP
);

步骤2：执行带分区的CETAS语句 #

核心是在CETAS的WITH子句中添加PARTITIONED BY指定分区列CustomerID，Synapse会自动生成对应分区文件夹：

CREATE EXTERNAL TABLE dbo.CustomerTable
WITH (
    LOCATION = 'CustomerTable/', -- Blob容器下的根目录
    DATA_SOURCE = CustomerBlobStorage,
    FILE_FORMAT = ParquetFormat,
    PARTITIONED BY (CustomerID INT) -- 按CustomerID自动分区
)
AS
SELECT 
    CustomerID,
    -- 替换为你的实际业务字段
    OrderID,
    OrderDate,
    ProductID,
    Amount
FROM 
    <你的源表或视图>;

最终存储结构 #

执行完成后，Blob存储会自动生成你期望的层级结构：

Azure Blob Storage Container/
    CustomerTable/
        CustomerID=1/
            .parquet files for Customer 1
        CustomerID=2/
            .parquet files for Customer 2
        ...
        CustomerID=N/
            .parquet files for Customer N

针对100TB数据的优化建议 #

• 切换高资源类：执行CETAS前运行ALTER SESSION SET RESOURCE_CLASS = 'xlargerc';，提升并行处理能力，加快大体积数据的写入速度。
• 源数据预排序：如果源数据已按CustomerID排序，Synapse可更高效地将同客户数据写入对应分区，减少数据 shuffle 开销。
• 权限配置：确保Synapse工作区拥有Blob容器的写入权限（推荐用托管标识，比SAS更安全稳定）。

内容的提问来源于stack exchange，提问作者Colorado Techie