多线程环境下基于Redis实现幂等性的重复写入问题解决方法

针对你遇到的并发下同一idempotency-key重复写入Redis的问题，核心原因是**“检查键是否存在→执行业务→写入结果”的流程不是原子操作**，导致多个请求同时通过“检查存在”的判断，进而重复执行业务并写入。以下是几个不影响性能的解决方案，结合Redis或你可用的DynamoDB实现：

方案1：Redis原子SET+状态标记（推荐） #

利用Redis的SET命令的NX（仅键不存在时设置）和EX（自动过期）选项，把“检查存在+标记处理中”做成原子操作：

• 收到请求后，先执行：

  SET idempotency-key "PROCESSING" NX EX 30
  

  （EX 30表示30秒后自动过期，时间根据你的业务最长处理时间调整）
• 如果命令返回OK：说明是第一个请求，正常执行业务逻辑，完成后用最终结果覆盖Redis中的值，比如：

  SET idempotency-key '{"body": "xxx", "status": 200}'
  

• 如果命令返回nil：说明已有请求在处理，此时启动短间隔轮询（比如每100ms一次）Redis，直到值不再是PROCESSING：
  • 轮询到最终结果时，直接返回给客户端；
  • 轮询超时（比如超过5秒）时，返回503 Service Unavailable，让客户端稍后重试。

这个方案的性能损耗极低：SET命令是O(1)操作，轮询的开销也很小，并发请求会在极短时间内拿到结果。

方案2：Redis Lua脚本强化原子性 #

用Lua脚本把“检查存在→返回结果/标记处理中”的逻辑打包成原子操作，避免多命令的竞态：

-- 传入参数：KEYS[1] = idempotency-key
local current_val = redis.call('GET', KEYS[1])
if current_val then
    return current_val
else
    redis.call('SET', KEYS[1], 'PROCESSING', 'NX', 'EX', 30)
    return nil
end

• 调用脚本后，若返回nil，则执行业务并更新结果；若返回非nil，则根据值是PROCESSING轮询，还是直接返回结果。
  Lua脚本在Redis中原子执行，完全消除了竞态窗口，性能和单个Redis命令几乎无差别。

方案3：DynamoDB条件写入 #

如果更倾向用DynamoDB，利用它的条件写入特性实现幂等：

• 将idempotency-key作为DynamoDB表的主键，尝试写入初始条目：

  # 示例（Python boto3）
  dynamodb.put_item(
      TableName='IdempotencyTable',
      Item={
          'idempotency-key': {'S': request_key},
          'status': {'S': 'PROCESSING'},
          'expires_at': {'N': str(time.time() + 30)}
      },
      ConditionExpression='attribute_not_exists(idempotency-key)'
  )
  

• 如果写入成功：执行业务逻辑，完成后更新该条目为最终结果（包含body和HTTP状态码）；
• 如果抛出ConditionalCheckFailedException：说明已有请求在处理，轮询DynamoDB获取条目状态，直到状态变为COMPLETED或超时。

DynamoDB的条件写入延迟极低，且自带分布式锁特性，适合跨节点的并发场景。

额外注意事项 #

• 处理失败场景：如果第一个请求执行业务失败，要及时更新Redis/DynamoDB中的状态为FAILED或删除键，避免后续请求一直轮询；
• 过期时间合理：过期时间要长于业务最长处理时间，防止请求还在处理中，状态就被清理；
• 避免长时间轮询：设置合理的轮询超时时间，防止客户端请求阻塞过久。

内容的提问来源于stack exchange，提问作者reiley