ECS部署多实例SQS消费者的运行问题与扩缩容方案咨询

1. 多SQS消费者轮流拉取是否正常？ #

这取决于你使用的是标准队列还是FIFO队列：

• 如果是FIFO队列：
  当消息带有相同的MessageGroupId时，SQS会保证同一消息组内的消息按顺序被消费，且同一时间只有一个消费者能处理该组的消息。如果所有消息都使用同一个消息组ID，就会出现两个消费者轮流处理的情况，这是FIFO队列的预期行为。若要让多个消费者并行处理，需为不同消息设置不同的MessageGroupId。
• 如果是标准队列：
  这种轮流拉取的情况是不正常的。标准队列默认支持多消费者并行拉取消息，SQS会自动将消息分散到不同实例。出现该情况可能是消费者拉取逻辑的独占时间设置过长，或是队列中消息数量过少，导致消费者轮流抢到消息。

2. ECS上3个消费者实例能否一次性拉取30条消息？ #

可以实现，但需满足几个条件：

• SQS的ReceiveMessage API单次调用最多可拉取10条消息，因此每个ECS消费者实例单次能拉取10条。
• 当3个实例同时调用该API，且队列中存在至少30条可用消息时，理论上可一次性总共拉取30条消息。
• 建议开启长轮询（设置WaitTimeSeconds为1-20秒），避免空轮询浪费资源，同时提升消息获取效率。
• 需确认ECS任务配置未限制消费者实例的并发拉取请求。

3. 不使用Lambda的SQS消息消费扩缩容方案 #

以下是几种可行方案：

• ECS服务自动扩缩容：
  基于CloudWatch中SQS的ApproximateNumberOfMessagesVisible（可见消息数）指标，配置ECS服务的自动扩缩容规则。当队列消息数超过阈值时增加ECS任务数，消息数回落时减少任务数。
• EC2 Auto Scaling组：
  将消费者部署在EC2实例上，通过CloudWatch指标触发EC2 Auto Scaling组的扩缩容，根据队列消息量调整EC2实例数量，以此增减消费能力。
• Kubernetes HPA（水平Pod自动扩缩）：
  若用Kubernetes部署消费者，可通过自定义指标适配器将SQS消息数量指标导入Kubernetes，再配置HPA基于该指标自动调整Pod数量，实现弹性扩缩。
• 自定义扩缩容控制器：
  编写简单监控程序，定期读取SQS队列消息数，根据预设阈值手动或自动调用ECS/EC2的API，增减消费者任务或实例数量。

内容的提问来源于stack exchange，提问作者shing