单预留并发Lambda搭配同消息组ID的FIFO队列仍触发限流问题

一、核心原因：可见性超时配置不足 #

你提到的AWS文档建议将SQS可见性超时设为Lambda超时的至少6倍，这正是触发限流的主要原因。

你的Lambda超时300秒，SQS可见性超时仅400秒，仅预留了100秒缓冲。当消息量超过1000条时，队列出现积压：

1. Lambda正在处理某条消息时，之前被设为不可见的消息可能因可见性超时到期，重新回到队列的可见状态。
2. SQS事件源轮询到这些消息后，尝试触发Lambda执行，但此时Lambda的预留并发（1）已被占满，就会触发限流。
3. 由于你的maxReceiveCount设为5，消息会被多次重试，最终都能等到Lambda空闲时被处理，因此DLQ无消息，且每次限流计数不超过1。

而消息量少于1000时，队列积压程度低，可见性超时到期的消息回到队列时，Lambda通常已经处理完当前任务，能承接新消息，因此不会触发限流。

二、其他可能的限流触发因素 #

• Lambda执行时间波动：若部分消息处理时间接近300秒超时，100秒的缓冲可能不足以覆盖Lambda处理完成后的状态更新延迟（如网络延迟），导致消息提前回到队列，重复触发Lambda引发限流。
• SQS轮询机制：你的队列ReceiveMessageWaitTimeSeconds设为10秒，消息量大时轮询频率更高，当Lambda正忙时，轮询到的消息无法被处理，会触发限流计数。
• VPC配置影响：如果Lambda部署在VPC内，子网资源不足、ENI创建延迟或安全组限制等问题，可能导致Lambda启动或处理延迟，间接引发SQS事件源的限流。

三、限流消息排查方法 #

• CloudWatch指标分析：
  • 查看Lambda的Throttles指标，筛选SQS触发器维度，确认限流发生的时间点。
  • 查看Lambda的ConcurrentExecutions指标，验证限流发生时并发数是否已达预留的1。
  • 查看SQS的ApproximateNumberOfMessagesVisible和ApproximateNumberOfMessagesNotVisible指标，观察限流发生时不可见消息的数量变化，判断是否有消息提前回到可见状态。
• Lambda日志排查：
  • 搜索日志中包含Throttle或Task timed out的条目，确认是否有超时或限流相关报错。
  • 统计每条消息的处理时长，查看是否有消息处理时间接近或超过300秒。
• SQS消息属性检查：
  • 查看消息的ApproximateReceiveCount属性，排查被多次接收的消息，确认是否因可见性超时到期导致重复接收。

四、修复建议 #

1. 调整SQS可见性超时：将VisibilityTimeout设置为Lambda超时的6倍，即1800秒（30分钟），确保有足够缓冲时间避免消息提前回到队列。
2. 优化Lambda执行效率：
   • 排查代码逻辑，减少不必要的IO操作或计算步骤，缩短单条消息的处理时间。
   • 评估是否需要提升Lambda的内存配置（当前为512MB），更高的内存会带来更高的CPU和网络带宽，可能缩短处理时间。
3. VPC配置验证：若Lambda在VPC内，确认子网有足够的IP资源、安全组允许Lambda与SQS及其他依赖服务的通信，避免网络延迟导致的处理超时。

你提供的CF脚本 #

CreateJobsQueue:
  Type: AWS::SQS::Queue
  Properties:
    QueueName: !Sub '${AWS::StackName}-CreateJobsQueue.fifo'
    ReceiveMessageWaitTimeSeconds: 10
    FifoQueue: True
    ContentBasedDeduplication: True
    VisibilityTimeout: 400
    RedrivePolicy:
      deadLetterTargetArn: !GetAtt CreateJobsDLQ.Arn
      maxReceiveCount: 5

CreateJobsDLQ:
  Type: AWS::SQS::Queue
  Properties:
    QueueName: !Sub '${AWS::StackName}-CreateJobsDLQ.fifo'
    FifoQueue: True
    ContentBasedDeduplication: True
    MessageRetentionPeriod: 604800

CreateJobsFn:
    Type: AWS::Serverless::Function
    Properties:
      FunctionName: !Sub '${AWS::StackName}-CreateJobsFn'
      CodeUri: functions/create-jobs/
      Handler: index.handler
      Runtime: nodejs16.x
      Description: Lambda function to pick up the message from CreateJobsQueue
      MemorySize: 512
      Timeout: 300
      KmsKeyArn: !Sub "arn:aws:kms:${AWS::Region}:${AWS::AccountId}:key/${AppsKMSKeyId}"
      ReservedConcurrentExecutions: 1
      Policies:
        - AWSLambdaBasicExecutionRole
        - AWSLambdaENIManagementAccess
      Environment:
        Variables:
          EMAIL_DOMAIN: ""
      Layers:
        - !Ref LambdaDependencies
      VpcConfig:
        !If
          - IsVPCRequired
          -
            SubnetIds: !Ref BFnSubnetIds
            SecurityGroupIds: !Ref BFnSecurityGroupIds
          - !Ref 'AWS::NoValue'
      Events:
        CreateJobsFnSQSEvent:
          Type: SQS
          Properties:
            Queue: !GetAtt CreateJobsQueue.Arn
            BatchSize: 1

内容的提问来源于stack exchange，提问作者Nandita Sharma