如何将AWS IoT数据流S3前缀的UTC时间改为IST时间？

你的数据流路径为：iot core -> rules (to firehose delivery stream) -> kinesis firehose (900 second buffer) -> s3 bucket，当前使用!{timestamp:hh}生成的S3前缀小时字段为UTC时间，Firehose原生的!{timestamp}变量仅支持UTC时区，无法直接在模板中转换为IST（UTC+5:30），以下是两种实时可靠的解决方法：

方案1：在IoT Core规则中提前计算IST时间字段 #

直接在IoT Core的规则SQL里将UTC时间转换为IST，并提取对应的时间字段传递给Firehose：

• 编写规则SQL时，通过date_add函数给UTC时间加上5小时30分钟，再提取年、月、日、小时：

  SELECT 
    *,
    date_format(date_add(timestamp, interval 330 minute), '%Y') AS ist_year,
    date_format(date_add(timestamp, interval 330 minute), '%m') AS ist_month,
    date_format(date_add(timestamp, interval 330 minute), '%d') AS ist_day,
    date_format(date_add(timestamp, interval 330 minute), '%H') AS ist_hour
  FROM 'your_device_topic'
  

• 修改Firehose的S3前缀模板，替换为SQL生成的IST字段：

  partitionKey={partitionKeyFromQuery:device_name}/year={ist_year}/month={ist_month}/day={ist_day}/hour={ist_hour}
  

  注意：这里不再使用!{timestamp:...}变量，直接引用自定义的IST时间字段。

方案2：用Firehose Lambda转换功能注入IST字段 #

如果无法修改IoT Core规则，可通过Firehose的Lambda数据转换功能，在数据进入Firehose后添加IST时间字段：

1. 创建Lambda函数，为每条记录计算并注入IST时间的年、月、日、小时：
   示例Python代码片段：

   import datetime
   import json
   import base64
   
   def lambda_handler(event, context):
       output_records = []
       for record in event['records']:
           # 解码原始数据
           payload = json.loads(base64.b64decode(record['data']))
           # 将UTC时间转为IST（UTC+5:30）
           utc_dt = datetime.datetime.fromisoformat(payload['timestamp'].replace('Z', '+00:00'))
           ist_dt = utc_dt + datetime.timedelta(hours=5, minutes=30)
           # 添加IST时间字段
           payload['ist_year'] = ist_dt.strftime('%Y')
           payload['ist_month'] = ist_dt.strftime('%m')
           payload['ist_day'] = ist_dt.strftime('%d')
           payload['ist_hour'] = ist_dt.strftime('%H')
           # 编码后返回
           output_record = {
               'recordId': record['recordId'],
               'result': 'Ok',
               'data': base64.b64encode(json.dumps(payload).encode()).decode()
           }
           output_records.append(output_record)
       return {'records': output_records}
   

2. 在Firehose交付流配置中启用数据转换，关联上述Lambda函数。
3. 修改S3前缀模板，使用Lambda注入的ist_hour等字段，格式同方案1。

不推荐方案：事后移动S3文件 #

虽然可以通过S3事件触发Lambda，将UTC时区的文件夹迁移到IST对应路径，但这种方法会带来延迟、数据一致性风险和额外API成本，仅适合临时应急使用。

内容的提问来源于stack exchange，提问作者anonymous_33008899