如何解决AWS Lambda冷启动导致UTC分钟偏移 正确读取S3分区文件

核心解法 #

你当前代码的问题是所有时间取值都依赖Lambda运行时的实时系统时间，冷启动延迟会导致时间和实际调度时间偏差，直接使用定时触发源传入的调度时间计算分区路径即可彻底解决，完全不受运行时延迟影响。

实现逻辑 #

使用EventBridge（原CloudWatch Events）cron规则触发Lambda时，触发事件的time字段会返回ISO 8601格式的调度UTC时间，这个时间是规则触发时的精确时间，和Lambda冷启动时长无关。把代码中所有datetime.utcnow()调用替换为解析这个调度时间，所有时间计算统一基于这个固定值即可。

修改后代码 #

import boto3
import json
from datetime import datetime,timedelta
import uuid
import time

def lambda_handler(event,context):
    s3_client = boto3.client("s3")
    s3_resource = boto3.resource('s3')
    paginator = s3_client.get_paginator('list_objects_v2')
    keys = []
    
    # 唯一修改点：解析EventBridge传入的调度时间，替代运行时实时时间
    utc_scheduled_time = datetime.fromisoformat(event['time'].replace('Z', '+00:00'))
    utc_scheduled_delta = utc_scheduled_time + timedelta(hours=-1)
    
    folder_path = {
        "now" : int(str(round(time.time() * 1000))),
        "utc_year" : utc_scheduled_time.strftime('%Y'),
        "utc_month" : utc_scheduled_time.strftime('%-m'),
        "utc_day" : utc_scheduled_time.strftime('%-d'),
        "utc_hour" : utc_scheduled_time.strftime('%-H'),
        "utc_minute" : utc_scheduled_time.strftime('%-M'),
        "year_delta" : utc_scheduled_delta.strftime('%Y'),
        "month_delta" : utc_scheduled_delta.strftime('%-m'),
        "day_delta" : utc_scheduled_delta.strftime('%-d'),
        "hour_delta" : utc_scheduled_delta.strftime('%-H'),
        "minute_delta" : utc_scheduled_delta.strftime('%-M'),
        "file_ext" : f"{str(uuid.uuid4().hex)}.json"
    }

    prefix = f"Uploads/{folder_path['year_delta']}/{folder_path['month_delta']}/{folder_path['day_delta']}/{folder_path['hour_delta']}/{folder_path['minute_delta']}"
    pages = paginator.paginate(Bucket='my_bucket', Prefix=prefix)
    for page in pages:
        if page.get('KeyCount') != 0:
            for obj in page['Contents']:
                get_object = s3_resource.Object('my_bucket',key = obj['Key']) 
                file_content = get_object.get()['Body'].read().decode('utf-8')
                json_content = json.loads(file_content)
                keys.append(json_content)
    return create_object_path(keys,folder_path,s3_resource)

def create_object_path(get_keys,get_folder_path,get_s3_resource):
    folder_name = f"FE-Uploads/{get_folder_path['utc_year']}/{get_folder_path['utc_month']}/{get_folder_path['utc_day']}/{get_folder_path['utc_hour']}/{get_folder_path['now']}-{get_folder_path['file_ext']}"
    s3object = get_s3_resource.Object('my_bucket_2', folder_name)
    s3object.put(
        Body=(bytes(json.dumps(get_keys, indent=2, sort_keys=False).encode('UTF-8')))
        )
    return None

额外优化建议 #

如果需要进一步降低冷启动概率，可以给Lambda配置预置并发，但即使不配置，上述修改也已经可以完全解决时间偏移导致的分区读取错误问题。极端场景下如果担心调度延迟超过1分钟，也可以同时拉取调度时间前后1分钟的分区数据合并处理，进一步提升容错性。

内容的提问来源于stack exchange，提问作者satoshi