AWS Lambda超时时如何执行预设动作？SFTP日志迁移超时故障识别问题

方案1：使用上下文剩余时间 + 信号量触发超时前钩子 #

这是最直接的在当前函数内实现超时前动作的方法：

• Lambda的handler会默认传入context对象，调用context.get_remaining_time_in_millis()可以获取当前函数剩余的可执行时间
• 你可以设置一个比函数总超时时间短30~60秒的定时器，到点后强制触发告警、记录当前正在传输的日志名的动作

Python示例代码如下：

import signal

# 超时前触发的告警逻辑
def timeout_alarm_handler(signum, frame):
    # 这里写你的告警/记录逻辑，比如打错误日志、发SNS通知
    logger.error(f"Migration timed out for log: {log_name}", extra={"log_name": log_name, "status": "timeout"})
    # 可选：主动中断当前传输逻辑
    raise TimeoutError("Migration preemptively interrupted due to impending Lambda timeout")

def lambda_handler(event, context):
    global log_name
    # 取剩余时间，提前30秒触发告警
    alarm_seconds = int(context.get_remaining_time_in_millis() / 1000) - 30
    signal.signal(signal.SIGALRM, timeout_alarm_handler)
    signal.alarm(alarm_seconds)
    
    try:
        log_name = event.get("log_name")
        sftp = get_sftp_client()
        logger.info(f'Migrating {log_name}... ')
        transfer_to_s3(log_name, sftp)
        logger.info(f'{log_name} was migrated succesfully ')
        # 传输完成取消告警
        signal.alarm(0)
    except Exception as e:
        logger.error(f"Migration failed for {log_name}: {str(e)}")
        raise

方案2：异步状态巡检（无侵入的备选方案） #

如果不想修改现有传输逻辑，可以用独立的状态表跟踪进度：

• 新增一个DynamoDB表，每次触发迁移前，先写入一条记录，字段包括log_name、start_time、status（初始值为PROCESSING）
• 迁移成功后将对应记录的status更新为SUCCESS，迁移失败更新为FAILED
• 配置一个每分钟触发的定时Lambda，扫描表中status为PROCESSING且start_time距离当前超过15分钟的记录，批量触发告警即可

这个方案可以覆盖所有异常退出（包括代码崩溃、runtime故障等信号量钩子无法触发的极端场景）。

方案3：大文件分片传输优化 #

从根源避免超时问题：

• 将大文件按固定大小分片（比如每片100MB），逐片从SFTP下载后上传到S3的分片上传任务
• 每传完一片就记录当前进度，就算超时下次调用可以从断点继续传输，不用重复传整个文件，也能精准统计传输进度

内容的提问来源于stack exchange，提问作者Dimi