AWS Timestream定时查询报「记录已存在」错误求助

核心原因 #

1. 时间范围重叠：你当前的WHERE子句@scheduled_runtime - 45h and @scheduled_runtime -21h可能覆盖了多个定时任务的处理区间，导致同一个小时聚合窗口被多次计算并尝试写入hour-table。比如当天的定时任务可能会处理到前一天下午的部分数据，而前一天的定时任务已经处理过该区间，重复写入触发版本冲突。
2. Timestream版本机制：未显式指定版本时，Timestream默认会用记录写入时的当前时间作为版本值。如果同一个聚合结果（相同user、聚合窗口time、requests度量名）被多次尝试写入，后续写入的版本可能不高于已存在的版本，就会抛出该错误。

具体解决步骤 #

1. 精准锁定前一天的完整24小时数据 #

把WHERE子句修改为严格指向前一天自然日的所有数据，避免跨任务的区间重叠。基于Timestream默认的UTC存储时间，可使用：

WHERE time BETWEEN date_trunc('day', @scheduled_runtime - INTERVAL '1' DAY) 
              AND date_trunc('day', @scheduled_runtime)

如果源数据是PST时区，需先转换为UTC再做截断：

WHERE time BETWEEN date_trunc('day', convert_timezone('PST', @scheduled_runtime - INTERVAL '1' DAY)) 
              AND date_trunc('day', convert_timezone('PST', @scheduled_runtime))

这样每个定时任务只会处理前一天的完整数据，不会和其他任务的处理区间重叠。

2. 显式指定版本号 #

在SELECT语句中添加版本字段，确保每个聚合记录的版本唯一。推荐用聚合窗口的结束时间作为版本，或者定时任务的调度时间戳：

SELECT
  user as user,
  SUM(requests) as requests,
  BIN(time, 1h) AS time,
  -- 用聚合窗口的结束时间作为版本，确保唯一
  UNIX_TIMESTAMP(BIN(time, 1h) + INTERVAL '1' HOUR) AS version
FROM
  "test-db"."test-table"
WHERE
  time BETWEEN date_trunc('day', @scheduled_runtime - INTERVAL '1' DAY) 
            AND date_trunc('day', @scheduled_runtime)
GROUP BY
  user,
  time

写入hour-table时，将version字段映射为Timestream的版本列，这样即使因意外重试执行查询，同一个聚合记录的版本值一致时Timestream会忽略重复写入，若后续有数据更新，更高版本值会自动覆盖旧记录。

3. 验证定时任务的执行唯一性 #

检查AWS Timestream定时任务配置：

• 确认cron表达式0 4 * * ?的时区设置正确（AWS控制台定时任务默认UTC，对应PST的前一天21点），确保每天仅执行一次。
• 关闭定时任务的重试机制（若开启），避免因任务失败重试导致重复写入。

内容的提问来源于stack exchange，提问作者Gaganjot Kaur Kang