配置AWS SQS将运行时异常消息转入死信队列方案咨询

一、核心问题定位：为什么你的Lambda异步DLQ没生效？ #

SQS触发Lambda属于事件源映射触发，并非Lambda的异步调用场景（异步调用指通过InvocationType=Event调用Lambda API）。你之前配置的Lambda异步调用DLQ，对SQS事件源触发的Lambda完全不生效。正确的做法是在SQS与Lambda的事件源映射中配置DLQ，这才是对应场景的错误流转通道。

二、全链路错误处理（验证/业务/运行时异常）的DLQ方案 #

1. API Gateway -> SQS 环节：拦截前置错误 #

• 请求验证错误：直接用API Gateway的请求验证器拦截格式非法、参数缺失的请求，返回4xx状态码，这类消息不会进入SQS，无需DLQ处理。
• 集成异常：如果网关调用SQS失败（如权限不足、队列不存在），网关直接返回5xx，消息也不会进入SQS，直接反馈给调用方即可。

2. SQS -> Lambda 环节：事件源映射DLQ配置 #

这是处理Lambda执行失败的核心通道，配置步骤：

• 在Lambda控制台找到对应SQS事件源映射，编辑配置：
  • 设置最大重试次数（建议3-5次，根据业务容忍度调整）
  • 指定死信队列（选择提前创建好的SQS队列）
• 权限配置：确保Lambda角色拥有sqs:SendMessage权限访问DLQ，同时DLQ的队列策略允许该Lambda角色发送消息。

当Lambda处理消息时抛出未捕获异常、返回错误结果，SQS会自动重试，达到最大重试次数后，消息会被转入DLQ。

3. Lambda内部错误的精细化处理 #

验证错误

Lambda接收消息后先做参数校验，校验不通过时：

• 如果是可重试的验证错误（如临时数据不一致）：抛出自定义异常，触发SQS重试后转DLQ。
• 如果是不可重试的验证错误（如参数格式永久非法）：手动调用SQS的SendMessage接口将消息送入DLQ，然后Lambda返回成功，避免无意义重试。

业务错误

• 可重试业务错误（如下游服务暂时不可用）：抛出异常，让SQS重试后转DLQ。
• 不可重试业务错误（如余额不足、用户不存在）：手动发送消息到DLQ，Lambda返回成功，终止重试流程。

运行时异常

未捕获的运行时异常（如空指针、网络超时）会自动触发SQS重试，达到次数后转入事件源映射配置的DLQ，无需额外编码。

三、基于HTTP状态码流转消息到DLQ的实现 #

如果你的Lambda调用下游服务并依赖其HTTP状态码判断是否入DLQ，可按以下逻辑编码：

import boto3
import json

sqs = boto3.client('sqs')
DLQ_URL = "你的DLQ队列URL"

def lambda_handler(event, context):
    # 解析SQS消息
    message = json.loads(event['Records'][0]['body'])
    
    # 调用下游服务（示例逻辑）
    response = call_downstream_service(message)
    
    if response.status_code >= 500:
        # 5xx属于可重试错误，抛出异常触发SQS重试后转DLQ
        raise Exception(f"Downstream service error: {response.status_code}")
    elif response.status_code >= 400:
        # 4xx属于不可重试错误，手动送入DLQ
        sqs.send_message(
            QueueUrl=DLQ_URL,
            MessageBody=json.dumps(message)
        )
        # 返回成功，避免SQS重试
        return {"statusCode": 200, "body": "Message sent to DLQ"}
    else:
        # 处理成功，消息从SQS删除
        return {"statusCode": 200, "body": "Message processed successfully"}

• 逻辑说明：
  • 下游返回5xx：抛出异常，让SQS重试，达到次数后进入事件源映射的DLQ。
  • 下游返回4xx：手动发送消息到DLQ，Lambda返回成功，终止重试。
  • 下游返回2xx：正常处理，消息从SQS删除。

四、关键注意事项 #

• SQS可见性超时：设置为Lambda超时时间的1.5-2倍，避免Lambda处理过程中消息被重新读取。
• DLQ监控：定期查看DLQ中的消息，可通过CloudWatch告警监控DLQ消息数量，及时处理异常消息（如修正后重新入队、归档）。
• 权限校验：确保Lambda角色拥有SQS的ReceiveMessage、DeleteMessage、SendMessage（针对DLQ）权限，队列策略配置正确。

内容的提问来源于stack exchange，提问作者Lazy Lizzard