Azure Data Factory v2：基于触发时间获取小时级API数据并正确存储

嘿，作为ADF的新手，你已经走对了第一步——用翻滚窗口来处理按小时批量的数据获取！针对你遇到的两个核心问题，我来一步步帮你解决：

一、动态关联触发时间设置API的时间参数 #

你现在用的是固定的startTimestamp和endTimestamp，这显然没法适配每次整点触发的窗口。好在翻滚窗口触发会自动给管道注入两个关键参数：WindowStartTime和WindowEndTime，它们分别对应窗口的开始（比如3:00）和结束时间（比如4:00），完全匹配你要获取的时间范围。

你需要把URL里的静态时间替换成以下动态表达式：

• startTimestamp：用窗口开始时间生成UTC格式的时间戳

  @concat(formatDateTime(pipeline().parameters.WindowStartTime, 'yyyy-MM-ddTHH:mm:ss'), '%2B00:00')
  

• endTimestamp：因为窗口结束时间是下一小时整点，我们需要减去1秒来得到当前小时的最后一秒（3:59:59）

  @concat(formatDateTime(addSeconds(pipeline().parameters.WindowEndTime, -1), 'yyyy-MM-ddTHH:mm:ss'), '%2B00:00')
  

替换后的完整URL应该是这样的：

?sourceId=1LuOA,9VKZ2,CISG1,D7UIQ,gu4me,hSZGT,K582n,MnkPP,Mxgt4,N4hAZ,PvECt,Qhr1i,uIWnW,vot1K,XAbJ4,XRH1E,ZbKW0,Zjrs3,ZttLo&interval=S10&maxResult=500&startTimestamp=@{concat(formatDateTime(pipeline().parameters.WindowStartTime, 'yyyy-MM-ddTHH:mm:ss'), '%2B00:00')}&endTimestamp=@{concat(formatDateTime(addSeconds(pipeline().parameters.WindowEndTime, -1), 'yyyy-MM-ddTHH:mm:ss'), '%2B00:00')}

这样每次整点触发时，API就会自动获取对应小时的数据啦！

二、修正Sink的文件夹路径，生成年/月/日/小时/结构 #

你当前用utcnow()来生成路径，但这个函数取的是管道运行的当前时间，如果管道有延迟，就会导致文件夹和数据的时间范围不匹配。正确的做法是用翻滚窗口的WindowStartTime来生成所有维度：

替换你现有的sink路径表达式为：

beacon/@{formatDateTime(pipeline().parameters.WindowStartTime, 'yyyy')}/@{formatDateTime(pipeline().parameters.WindowStartTime, 'MM')}/@{formatDateTime(pipeline().parameters.WindowStartTime, 'dd')}/@{formatDateTime(pipeline().parameters.WindowStartTime, 'HH')}/

关键说明： #

• 用WindowStartTime而不是utcnow()，确保文件夹的时间维度和API获取的数据时间完全对应，哪怕管道延迟运行也不会出错
• HH格式会生成24小时制的小时数（比如03、14），完美匹配你的整点触发需求

最后验证小技巧 #

你可以先手动触发管道，在管道运行详情里查看WindowStartTime和WindowEndTime的实际值，然后检查API请求的URL参数和Sink的输出路径是否符合预期，这样就能快速确认配置是否正确啦！

内容的提问来源于stack exchange，提问作者Raja Wetuschat