如何通过SQL查询从Cosmos DB提取近1小时数据至Azure SQL（ADF V2）

我来帮你搞定这个需求！要在Azure Data Factory（ADF）中每小时提取Cosmos DB近1小时的新增数据到SQL表，核心是利用Cosmos DB的SQL语法结合时间字段做精准过滤，下面是具体的实现方案和注意细节：

前提条件 #

首先确保你的Cosmos DB文档中存在记录创建/更新时间的字段，比如createdAt（创建时间）或lastModified（最后修改时间），推荐存储为ISO 8601格式的UTC时间（例如"2024-05-20T14:30:00Z"），这样时间比较会更准确。

方案1：直接用Cosmos DB内置函数查询近1小时数据 #

Cosmos DB的SQL支持GetCurrentDateTime()获取当前UTC时间，搭配DATEADD函数计算1小时前的时间点，以此作为过滤条件：

SELECT *
FROM c
WHERE c.createdAt >= DATEADD('hour', -1, GetCurrentDateTime())

如果你的时间字段存储的是Unix毫秒时间戳（比如1716219000000），可以用时间戳的计算方式：

SELECT *
FROM c
WHERE c.timestamp >= (GetCurrentDateTime() - 3600000) -- 3600000毫秒 = 1小时

方案2：结合ADF触发器时间做精准范围查询（更推荐） #

因为ADF的触发器是每小时触发一次，如果你希望严格获取上一个整小时的完整数据（比如14:00触发时，获取13:00-14:00的数据），可以利用ADF的系统变量来传递时间参数，避免因触发器延迟导致的时间偏差：

在ADF复制活动的Cosmos DB源查询中，使用参数化的时间范围：

SELECT *
FROM c
WHERE c.createdAt >= '@{formatDateTime(addHours(utcNow(), -1), 'yyyy-MM-ddTHH:mm:ssZ')}'
AND c.createdAt < '@{formatDateTime(utcNow(), 'yyyy-MM-ddTHH:mm:ssZ')}'

这个查询会根据触发器触发时的UTC时间，自动计算出上一小时的起始和结束时间，精准筛选该时间段的数据。

关键注意事项 #

• 给时间字段创建范围索引：如果你的Cosmos DB容器没有对时间字段建立索引，查询会扫描整个容器，性能极差。到Cosmos DB容器的索引策略中，将时间字段配置为范围索引，数据类型根据你的存储格式选择String（ISO时间）或Number（时间戳）。
• 时区处理：如果你的业务时间是本地时区（比如UTC+8），需要调整时间计算逻辑。例如要获取东八区近1小时的数据，需要把DATEADD的偏移量设为-9（因为UTC比东八区晚8小时，减9小时等价于东八区减1小时）：

  SELECT *
  FROM c
  WHERE c.createdAt >= DATEADD('hour', -9, GetCurrentDateTime())
  

• 无时间字段的补救方案：如果你的文档没有时间戳字段，必须先修改数据写入逻辑，在写入Cosmos DB时自动添加createdAt字段（可以用Cosmos DB的存储过程或客户端代码实现），否则无法筛选增量数据。

内容的提问来源于stack exchange，提问作者MaxDev