多实例DataProcessService的SQS消息重复消费问题咨询

• 延长可见性超时时间
  直接调整SQS队列的visibility-timeout到能覆盖业务中最长的消息处理时长。比如如果你的服务最长需要25分钟处理一条消息，就把超时设为30分钟。需要注意的是，若消费者实例意外崩溃，这条消息会在超时后才重新进入队列，所以不要设置过长，避免消息延迟过久。

• 定期调用延长消息可见性的API
  在消息处理过程中，每隔一段时间调用ChangeMessageVisibility接口，为当前正在处理的消息延长可见性超时。比如每10分钟调用一次，将超时时间再延长15分钟，确保消息在处理完成前不会重新被其他实例获取。
  示例伪代码：

  # 获取消息的ReceiptHandle
  receipt_handle = received_message['ReceiptHandle']
  # 处理过程中循环延长超时
  while is_processing:
      sqs_client.change_message_visibility(
          QueueUrl="your-sqs-queue-url",
          ReceiptHandle=receipt_handle,
          VisibilityTimeout=900  # 15分钟
      )
      continue_processing_task()
  # 处理完成后删除消息
  sqs_client.delete_message(
      QueueUrl="your-sqs-queue-url",
      ReceiptHandle=receipt_handle
  )
  

• 优化消息处理逻辑，缩短单条消息处理时长
  将大粒度的消息拆分成多个小粒度任务，让每条消息的处理时间控制在现有可见性超时范围内。比如原本处理100条数据的消息，拆成10条各处理10条数据的消息。同时可以优化处理流程，比如异步处理非核心步骤、升级实例资源配置或者优化算法，提升处理速度。

• 改用SQS FIFO队列（业务场景允许时）
  如果业务可以接受顺序处理，或者不需要极高的吞吐量，改用SQS FIFO队列。FIFO队列会保证同一消息分组内的消息按顺序处理，且不会被多个消费者同时获取。不过FIFO队列的吞吐量低于标准队列，需要结合业务需求评估是否适用。

内容的提问来源于stack exchange，提问作者Thomson Ignesious