如何在AWS Athena增量查询中使用支持的时区函数at_timezone

问题背景 #

不同时区用户编辑数据时，编辑时间与存储时区不匹配，现有增量查询无法正确过滤数据。原查询语句：

SELECT 
some,
table,
columns,
WHERE (date_parse(coalesce(nullif(umv.lastupdated, ''), '2022-01-01 15:01:01'),'%Y-%m-%d %H:%i:%s') >= date_add('minute', -60, date_parse('[[LASTRUNDATE]]','%Y-%m-%dT%H:%i:%s'))) 

尝试用Athena的AT_TIMEZONE函数统一时区，但不确定写法是否正确，尝试的语句：

SELECT 
some,
table,
columns,
WHERE AT_TIMEZONE(DATE_PARSE(umv.lastupdated,'%Y-%m-%d %H:%i:%s'),'America/Detroit') >= AT_TIMEZONE(DATE_PARSE('[[LASTRUNDATE]]','%Y-%m-%d %H:%i:%s'),'America/Detroit')

正确实现方案 #

你的思路是对的，但需要补全细节并修正逻辑：

1. 保留原语句中处理空值的coalesce(nullif(...))逻辑，避免空字符串导致解析失败
2. 确保[[LASTRUNDATE]]的解析格式与原语句一致（%Y-%m-%dT%H:%i:%s），同时保留date_add的偏移逻辑
3. 统一将两边的时间转换到同一个时区后再做比较，消除时区差异

修正后的完整查询语句：

SELECT 
  some,
  table,
  columns
FROM your_table -- 替换为实际表名
WHERE 
  AT_TIMEZONE(
    DATE_PARSE(coalesce(nullif(umv.lastupdated, ''), '2022-01-01 15:01:01'), '%Y-%m-%d %H:%i:%s'),
    'America/Detroit'
  ) >= 
  AT_TIMEZONE(
    DATE_ADD('minute', -60, DATE_PARSE('[[LASTRUNDATE]]', '%Y-%m-%dT%H:%i:%s')),
    'America/Detroit'
  )

关键说明 #

• 若umv.lastupdated实际存储的是其他时区的时间，将America/Detroit替换为对应的时区标识（比如用户编辑时的时区）
• 若[[LASTRUNDATE]]本身包含时区信息，可直接用TIMESTAMP '[[LASTRUNDATE]]'解析，无需DATE_PARSE
• 测试时可单独验证转换后的时间是否正确：

SELECT 
  umv.lastupdated,
  AT_TIMEZONE(DATE_PARSE(umv.lastupdated, '%Y-%m-%d %H:%i:%s'), 'America/Detroit') AS converted_time
FROM your_table
LIMIT 10

内容的提问来源于stack exchange，提问作者Adam Mohammed Dabdoub