Azure Data Factory中存储Copy Data活动上次执行日期的最佳方案

针对你每日运行的DB2转Parquet的Copy Data活动，以下是无需依赖文本文件或SQL表的实用方案：

1. 直接复用触发器的系统时间（最简便） #

如果你的管道是通过定时触发器每日调度的，完全可以用ADF内置的触发器变量来标记执行日期：

• 用@trigger().scheduledTime获取预先设定的触发时间（比如每天凌晨2点），这个值稳定且能精准对应每日的执行批次
• 若要取实际启动时间，用@trigger().startTime

你可以直接把这个时间映射到Parquet文件的新字段里（比如在Copy Data的字段映射中新增last_execution_date，赋值为上述变量），这样每批生成的Parquet文件自带执行标记，后续要查上次执行日期，只需读取最新Parquet文件的这个字段即可。

2. 通过Lookup活动读取最新Parquet文件的元数据 #

如果你的Parquet文件是按日期分区存储的（比如路径格式为container/folder/yyyy/mm/dd/），可以用Lookup活动直接定位最新分区：

1. 配置Lookup活动指向存储账户的Parquet文件路径，关闭First row only选项
2. 用表达式@max(activity('LookupLatestPartition').output.value)获取最新的分区路径
3. 通过字符串函数解析出日期，比如@split(last(split(activity('LookupLatestPartition').output.value[0].Name, '/')), '/')[0]（根据你的路径格式调整）

3. 用Azure Key Vault持久化共享（跨管道场景） #

如果需要在多个管道间共享这个执行日期，且不想用数据库，可以借助Azure Key Vault：

• 管道运行时，先用Set Variable活动把触发器时间存到变量里
• 再调用Key Vault的Set Secret活动，将变量值写入到指定的Secret中
• 下次运行时，用Lookup活动读取该Secret，就能拿到上次执行日期

其他轻量方案 #

• 如果仅需人工查看，可把执行日期写入管道的描述字段，但不适合程序化读取
• 调用ADF的监控API获取最新运行记录的执行时间，不过需要额外编写调用代码

内容的提问来源于stack exchange，提问作者Salah K.