Boto读取SQS超50万条消息报OverLimit错误有无绕过方法

这个OverLimit报错是AWS SQS的内置硬性限制，没有绕过的可能。
SQS会统计所有已被消费者拉取、但还未删除的消息（这类消息也叫in-flight消息），默认限额为：

• 标准队列：120,000条
• FIFO队列：20,000条
  你之前10万条消息没有触发报错是因为刚好低于标准队列的限额，50万条远超阈值自然会触发拦截。

你可以根据业务需求选择下面的改造方案，既满足业务逻辑，又不会触碰SQS限制：

• 方案1：改为分批处理+分批删除（改造成本最低，最推荐）
  不需要全量拉取所有消息再处理，每攒够一个批次的消息（比如1000条）就处理当前批次，处理完成后立刻调用DeleteMessageBatch接口批量删除该批次消息，即可把in-flight消息量始终控制在限额以内。参考代码如下：

  import boto3
  
  sqs_client = boto3.client("sqs")
  QUEUE_URL = "替换为你的SQS队列URL"
  BATCH_PROCESS_SIZE = 1000  # 可根据你的处理能力自由调整
  
  pending_process = []
  
  while True:
      # 单次ReceiveMessage最多拉取10条消息，是SQS官方限制
      resp = sqs_client.receive_message(
          QueueUrl=QUEUE_URL,
          MaxNumberOfMessages=10,
          WaitTimeSeconds=5
      )
      if "Messages" not in resp:
          # 队列已空，处理最后剩余的消息
          if pending_process:
              # 你的批量处理逻辑
              process_msg_batch(pending_process)
              # 批量删除消息
              delete_entries = [
                  {"Id": str(idx), "ReceiptHandle": msg["ReceiptHandle"]}
                  for idx, msg in enumerate(pending_process)
              ]
              sqs_client.delete_message_batch(QueueUrl=QUEUE_URL, Entries=delete_entries)
          break
      pending_process.extend(resp["Messages"])
      # 达到批次阈值就处理+删除
      if len(pending_process) >= BATCH_PROCESS_SIZE:
          process_msg_batch(pending_process)
          delete_entries = [
              {"Id": str(idx), "ReceiptHandle": msg["ReceiptHandle"]}
              for idx, msg in enumerate(pending_process)
          ]
          sqs_client.delete_message_batch(QueueUrl=QUEUE_URL, Entries=delete_entries)
          pending_process = []
  

• 方案2：中转存储后全量处理（适用于必须全量拿到所有消息才能处理的场景）
  如果你的业务逻辑确实要求必须把50万条消息全部集齐才能开始处理，可以先把拉取到的每一批消息先写入本地磁盘、Redis等中转存储，写入完成后立刻删除SQS中的对应消息，等全量消息都同步到中转存储后，再从中转存储读取所有消息做统一处理，同样不会触碰SQS的in-flight限额。
• 方案3：申请提高限额（仅适用于标准队列，非必要不推荐）
  如果你不愿意改代码，可以在AWS控制台提交工单申请提高对应标准队列的in-flight消息限额，FIFO队列的2万条限额是固定的，无法调整。

内容的提问来源于stack exchange，提问作者Abhishek Patil