Azure Data Factory中Azure Blob自定义日期文件夹路径增量存储问题

我之前研究过ADF中Blob自定义路径的配置，已经通过partitionedBy属性成功把数据按日期索引存入对应文件夹，但卡在上增量式的文件夹存储上，后来摸索出了一套可行的方案，分享给你：

一、先搭好增量复制的基础配置 #

要实现增量存储，首先得让ADF只处理新增/更新的数据，这是核心前提：

• 如果源是数据库这类结构化存储，一定要指定增量列（比如记录最后修改时间的字段），ADF会自动跟踪这个列的最大值，每次只复制大于这个值的数据。
• 如果源是Blob，就用LastModifiedDate作为筛选条件，设置只复制上次运行时间之后修改的文件。

二、用动态内容绑定生成增量文件夹路径 #

不能用固定的日期路径，要把增量的时间维度动态注入到文件夹路径里：

• 要是用定时触发器跑管道，直接用触发器的调度时间来生成路径，比如这样写表达式：

  @formatDateTime(trigger().scheduledTime, 'yyyy/MM/dd')
  

  把这个表达式填到Blob数据集的「文件夹路径」里，每次触发器运行，数据就会自动存入当天的文件夹。
• 要是想跟着源数据里的时间字段走（比如数据的创建时间），可以用复制活动输出的第一行数据来取时间，示例表达式：

  @concat('incremental_data/', formatDateTime(activity('Copy_Incremental_Data').output.firstRow.create_time, 'yyyy/MM/dd'))
  

三、把partitionedBy和增量逻辑结合起来 #

之前用partitionedBy实现了日期文件夹，现在要让它适配增量场景，比如按天增量的话，partitionedBy可以这么配置（在数据集的JSON视图里修改）：

"partitionedBy": [
    {
        "name": "year",
        "value": {
            "type": "DateTime",
            "date": "@trigger().scheduledTime",
            "format": "yyyy"
        }
    },
    {
        "name": "month",
        "value": {
            "type": "DateTime",
            "date": "@trigger().scheduledTime",
            "format": "MM"
        }
    },
    {
        "name": "day",
        "value": {
            "type": "DateTime",
            "date": "@trigger().scheduledTime",
            "format": "dd"
        }
    }
]

这样每次增量运行时，数据都会精准落入对应日期的文件夹，不会和之前的存量数据混在一起。

四、验证增量效果 #

跑几次管道后，记得检查这几点：

• 查看复制活动的运行统计，确认只复制了新增/修改的数据，没有重复处理存量。
• 到Blob存储里看，新数据确实都进了对应时间的文件夹。
• 检查ADF的增量跟踪值（比如数据库增量列的最大值）是否正确更新，确保下次运行只会处理新数据。

内容的提问来源于stack exchange，提问作者mike