如何解决AWS Lambda调用EC2长耗时API时的超时问题？

问题根源 #

你的Lambda超时（3秒）远短于API中文件转换任务的耗时（1分钟），且API是同步执行长任务后才返回响应，导致Lambda一直等待直到超时触发重试。虽然任务能完成，但重复重试会浪费资源，也不符合云服务异步处理的最佳实践。

方案1：API异步处理+调整Lambda超时 #

操作步骤： #

1. 修改EC2上的API，让长任务后台执行：启动转换任务后立刻返回响应，不要等待任务完成。
2. 调高Lambda超时时间：在Lambda控制台配置中，将超时时间设置为略长于API启动任务的耗时（比如30秒），确保Lambda能收到API的即时响应。

API代码修改示例： #

from flask import Flask, request
import threading
import os

app = Flask(__name__)

def run_long_task(file_name):
    try:
        <my_long_function>(file_name)
    except Exception as e:
        print(e)

@app.route('/api/new/file', methods=['POST'])
def handle_request():
    content_type = request.headers.get('Content-Type')
    if content_type == 'application/json':
        data = request.json
        file_name = os.path.basename(data['object_key'])
        # 启动后台线程执行长任务
        threading.Thread(target=run_long_task, args=(file_name,)).start()
        # 立刻返回成功响应
        return "True"
    else:
        return 'Content-Type not supported!'

Lambda配置调整： #

在Lambda函数的「配置」→「常规配置」中，将超时从3秒修改为30秒（或足够API返回响应的时间）。

方案2：引入SQS消息队列（推荐最佳实践） #

通过SQS解耦Lambda和转换任务，Lambda只需将任务信息发送到SQS即可返回，无需等待任务执行：

操作步骤： #

1. 创建SQS标准队列：在AWS控制台创建一个SQS队列，用于存储转换任务消息。
2. 修改Lambda代码：将原本发送POST请求的逻辑改为向SQS发送消息。
3. 在EC2上部署SQS消费者：编写一个监听SQS队列的脚本，收到消息后启动转换任务。

Lambda代码修改示例： #

import json
import boto3

sqs = boto3.client('sqs')
QUEUE_URL = "你的SQS队列URL"

def lambda_handler(event, context):
    bucket_name = event['Records'][0]['s3']['bucket']['name']
    object_key = event['Records'][0]['s3']['object']['key']
    
    # 构造任务消息
    message_body = json.dumps({
        'bucket_name': bucket_name,
        'object_key': object_key
    })
    
    # 发送消息到SQS
    sqs.send_message(
        QueueUrl=QUEUE_URL,
        MessageBody=message_body
    )
    
    print("任务已提交到SQS")
    return {"status": "success", "message": "task submitted"}

EC2上的SQS消费者示例： #

import boto3
import json
import os

sqs = boto3.client('sqs')
QUEUE_URL = "你的SQS队列URL"

def process_message(message):
    data = json.loads(message['Body'])
    file_name = os.path.basename(data['object_key'])
    try:
        <my_long_function>(file_name)
        # 处理成功后删除队列中的消息
        sqs.delete_message(
            QueueUrl=QUEUE_URL,
            ReceiptHandle=message['ReceiptHandle']
        )
    except Exception as e:
        print(f"处理失败: {e}")

def main():
    while True:
        # 轮询SQS队列获取消息
        response = sqs.receive_message(
            QueueUrl=QUEUE_URL,
            MaxNumberOfMessages=1,
            WaitTimeSeconds=20  # 长轮询减少空请求
        )
        if 'Messages' in response:
            for message in response['Messages']:
                process_message(message)

if __name__ == "__main__":
    main()

方案3：使用AWS Step Functions编排工作流 #

如果后续需要更复杂的任务调度（比如失败重试、多步骤任务），可以用Step Functions：

1. 创建Step Functions状态机，定义「触发任务」→「等待任务完成」（可选）的流程。
2. Lambda触发状态机后立刻返回，由Step Functions处理后续任务的执行和状态跟踪。

内容的提问来源于stack exchange，提问作者Zack