如何在Copy Preview中使用truncate并配置JSON复制最新Blob至Azure数据仓库

我来逐一拆解你的问题，结合Azure数据服务（主要是ADF和Synapse Data Warehouse）的实践经验给出具体方案：

1. 使用TRUNCATE命令截断多个表的数据 #

在Azure Synapse Data Warehouse（原SQL Data Warehouse）中，批量截断表有两种常用方式：

方式一：动态SQL批量执行 #

如果你明确要截断的表名列表，可以生成动态SQL循环执行，效率很高：

DECLARE @tableList TABLE (TableName NVARCHAR(128))
INSERT INTO @tableList VALUES 
('Table_Users'), ('Table_Orders'), ('Table_Products') -- 替换成你的目标表名

DECLARE @sql NVARCHAR(MAX) = ''
SELECT @sql += 'TRUNCATE TABLE ' + QUOTENAME(TableName) + ';' + CHAR(10)
FROM @tableList

EXEC sp_executesql @sql

方式二：PowerShell/CLI自动化操作 #

如果需要定期批量执行，用Azure PowerShell脚本更方便：

$tables = @("Table_Users", "Table_Orders", "Table_Products")
$serverName = "your-synapse-server-name"
$databaseName = "your-database-name"
$credential = Get-Credential

foreach ($table in $tables) {
    $sqlCommand = "TRUNCATE TABLE $table;"
    Invoke-SqlCmd -ServerInstance "$serverName.database.windows.net" -Database $databaseName -Credential $credential -Query $sqlCommand
}

注意：TRUNCATE需要表的ALTER权限，若表存在外键约束，需先禁用约束（或改用DELETE，但DELETE对大表效率极低，优先选TRUNCATE）。

2. 在Copy Preview中传递TRUNCATE命令 #

首先要理清：Copy Preview是Azure Data Factory（ADF）复制活动里的预览工具，本身不支持直接执行TRUNCATE命令——它的核心作用是预览源数据的结构和内容，验证复制规则是否正确。

如果需要在复制数据前自动截断目标表，正确的操作路径是：

1. 打开ADF的复制活动，切换到设置选项卡
2. 在预复制脚本文本框中输入TRUNCATE命令（多表的话用上面的动态SQL）
3. 保存配置后，运行复制活动时会先执行预复制脚本（截断表），再执行数据复制
4. 若想在Copy Preview前手动验证截断效果，可以先通过ADF的SQL脚本活动执行TRUNCATE，再回到复制活动打开Copy Preview

3. 通过Copy Preview将最新Blob复制到Azure数据仓库 #

Copy Preview仅做预览，实际复制需要通过ADF的复制活动完成。要复制最新Blob，步骤如下：

步骤1：配置Blob源的筛选规则 #

根据你的Blob命名/存储方式选择筛选逻辑：

• 按最后修改时间筛选：打开Blob源数据集，在连接选项卡的文件筛选器中选择「按最后修改时间筛选」，设置时间范围（比如“过去24小时”）
• 按文件名时间戳筛选：在文件筛选器中用通配符，比如*20240520*.parquet，或用动态内容@concat('*', formatDateTime(utcnow(), 'yyyyMMdd'), '*.parquet')自动匹配当日最新文件

步骤2：用Copy Preview验证 #

配置好筛选后，打开复制活动的Copy Preview，就能看到符合条件的最新Blob数据。确认数据正确后，触发复制活动即可将数据写入Azure数据仓库。

4. 多文件夹下的大数据表，编写JSON实现仅复制最新数据 #

这里的JSON指ADF的管道/数据集JSON配置，针对多文件夹分层存储（比如container/year=2024/month=05/day=20/）或带时间戳的文件，给出两种场景的配置示例：

场景一：按日期文件夹筛选（分层存储） #

修改Blob源数据集的JSON，用动态表达式自动定位最新日期的文件夹：

{
    "name": "Blob_Source_Dataset",
    "properties": {
        "linkedServiceName": {
            "referenceName": "Your_Blob_Linked_Service",
            "type": "LinkedServiceReference"
        },
        "type": "AzureBlobStorage",
        "typeProperties": {
            "folderPath": {
                "value": "@concat('container/year=', formatDateTime(utcnow(), 'yyyy'), '/month=', formatDateTime(utcnow(), 'MM'), '/day=', formatDateTime(utcnow(), 'dd'))",
                "type": "Expression"
            },
            "fileName": "*",
            "format": {
                "type": "ParquetFormat"
            }
        }
    }
}

场景二：按文件最后修改时间增量复制 #

在复制活动的JSON中配置增量规则，仅复制最近更新的文件：

{
    "name": "Copy_To_Synapse",
    "type": "Copy",
    "typeProperties": {
        "source": {
            "type": "AzureBlobStorageSource",
            "recursive": true,
            "modifiedDatetimeStart": {
                "value": "@adddays(utcnow(), -1)",
                "type": "Expression"
            },
            "modifiedDatetimeEnd": {
                "value": "@utcnow()",
                "type": "Expression"
            }
        },
        "sink": {
            "type": "AzureSqlDWTableSink",
            "tableOption": "autoCreate"
        },
        "enableStaging": true, // 大数据量必开，提升复制性能
        "stagingSettings": {
            "linkedServiceName": {
                "referenceName": "Your_Staging_Blob_Service",
                "type": "LinkedServiceReference"
            }
        }
    },
    "inputs": [
        {
            "referenceName": "Blob_Source_Dataset",
            "type": "DatasetReference"
        }
    ],
    "outputs": [
        {
            "referenceName": "Synapse_Target_Dataset",
            "type": "DatasetReference"
        }
    ]
}

额外提示：如果目标表有时间戳列（比如Last_Updated_Time），可以用ADF的水印增量复制功能，基于列值同步最新数据，适合结构化表的长期增量同步。

内容的提问来源于stack exchange，提问作者Don