AWS多租户作业调度：多队列多Worker并发与队列均衡问题咨询

1. 避免多Worker重复处理同一作业 #

• 利用SQS内置的可见性超时机制：Worker从队列取出任务时，SQS会自动将该任务标记为不可见，持续时间可自定义（比如30秒）。Worker处理完成后调用DeleteMessage删除任务；如果Worker崩溃或超时，任务会自动回到队列，既不会丢失也不会被重复处理。
• 开启长轮询：将SQS长轮询时间设为最大值20秒，减少空轮询的同时，降低多个Worker同时抢到同一任务的概率——长轮询会等待队列有消息再返回，避免短轮询带来的频繁竞争。
• 幂等性兜底：给每个任务生成唯一ID，Worker处理前先在DynamoDB中写入任务ID和处理状态，通过条件表达式（如attribute_not_exists(task_id)）确保只有第一个写入的Worker能继续处理，后续Worker检测到已处理状态直接跳过。

2. 解决Worker顺序读取队列导致的饥饿问题 #

• 随机轮询队列：Worker每次空闲时，从所有租户队列列表里随机选一个读取，而非按固定顺序循环。比如维护一个队列URL列表，每次用随机数生成索引选择目标队列，避免一直盯着第一个队列取任务。
• 加权轮询（可选）：如果租户有优先级差异，给每个队列设置权重（比如高优先级队列权重设为3，普通队列设为1），Worker选队列时按权重概率随机选择，既保证高优先级任务优先处理，也不会完全忽略低优先级队列。
• 放弃SNS通知方案：SNS广播会让所有Worker都收到消息，反而加剧竞争，不如让Worker自己实现智能选队列的逻辑，可控性更强。

内容的提问来源于stack exchange，提问作者sam_01