Node.js中Lambda处理SQS消息的竞态条件问题

你的核心问题在于先查询再插入的操作不具备原子性：两个并发的Lambda实例处理同一个orderId的消息时，都会通过findOne的检查（此时还没有任何实例完成插入），随后都会执行getOrderDetails和insertOne，最终触发唯一索引冲突，但原代码未正确处理该冲突，甚至在冲突发生前就已经重复执行了业务逻辑。

以下是针对性的解决方案：

1. 用原子插入替代先查后插，依赖唯一索引约束 #

直接移除前置的findOne检查，将insertOne包裹在try/catch中，利用MongoDB唯一索引的原子性保证只有第一个请求能插入成功，后续请求捕获重复键错误后直接跳过。同时将getOrderDetails放在try块内，避免不必要的重复调用。

修改后的processMessage代码：

const processMessage = async (message) => {
  const { orderId } = JSON.parse(message.body);

  try {
    // 先获取订单详情，再尝试原子插入
    const details = await getOrderDetails(orderId);
    await db.collection("orders").insertOne({
      orderId,
      details,
      createdAt: new Date(),
    });
    console.log("Processed:", orderId);
  } catch (err) {
    // 捕获MongoDB唯一索引冲突错误（错误码固定为11000）
    if (err.code === 11000) {
      console.log("Already processed:", orderId);
      return;
    }
    // 其他错误抛出，让SQS触发重试逻辑
    throw err;
  }
};

2. 同批次Lambda请求内去重 #

如果一次Lambda调用收到多条相同orderId的消息（SQS标准队列可能出现这种情况），可以先对消息按orderId分组，同一orderId只处理一次，避免无意义的并发请求。

修改后的Lambda handler：

export const handler = async (event) => {
  // 按orderId分组，同批次内只保留一条待处理消息
  const orderGroups = event.Records.reduce((groups, record) => {
    const orderId = JSON.parse(record.body).orderId;
    groups[orderId] = groups[orderId] || record;
    return groups;
  }, {});

  // 处理每个唯一的orderId消息
  await Promise.all(
    Object.values(orderGroups).map(record => processMessage(record))
  );
};

3. 优化SQS配置增强幂等性 #

• 设置合理的消息可见性超时：值要大于Lambda函数的最长执行时间，确保处理中的消息不会被SQS重新分发给其他Lambda实例。
• 考虑使用SQS FIFO队列：FIFO队列支持Exactly-Once Processing（启用内容去重后），从根源上避免重复消息的分发，适合对幂等性要求极高的场景。

内容的提问来源于stack exchange，提问作者user32623614