POST请求插入数据库出现重复记录（同epoch时间）的原因与解决方法咨询

• 客户端重复提交：用户快速点击提交按钮、网络波动导致客户端误判请求失败并自动重试，短时间内发送多个相同POST请求。如果你的epoch时间精度是秒级，同一秒内的多次请求会携带相同时间戳，最终生成重复记录。
• 服务器端重复处理：负载均衡场景下请求被重复转发、服务内部重试机制触发（比如超时重试），导致同一请求被多次执行插入逻辑。
• 时间戳精度不足：如果使用秒级epoch，高并发场景下同一秒内可能有多个合法的并发插入请求，这些记录的时间戳自然相同；如果是业务数据完全重复（而非仅时间戳相同），则大概率是重复请求导致。
• 事务异常重试：数据库事务提交失败后，程序未做幂等校验就直接重试插入，导致重复记录。

客户端层面 #

• 提交后立即禁用操作按钮，直到收到服务器响应或超时，避免用户重复点击。
• 生成全局唯一的请求ID（比如UUID），客户端存储该ID，同一请求ID仅发送一次；若请求失败重试，仍使用同一个ID。

服务器端幂等校验 #

• 接收请求时，提取业务唯一标识（比如用户ID+业务操作类型+请求ID），将其存入缓存（如Redis）并设置过期时间（比如5分钟）。如果缓存中已存在该标识，直接返回“请求已处理”的响应，不再执行插入逻辑。
• 示例伪代码：

  def handle_post_request(request):
      request_id = request.headers.get("X-Request-ID")
      user_id = request.data.get("user_id")
      operation_type = request.data.get("operation_type")
      unique_key = f"record:{user_id}:{operation_type}:{request_id}"
      if redis_client.set(unique_key, "processed", nx=True, ex=300):
          # 执行插入数据库逻辑
          db.insert(request.data)
          return {"status": "success"}
      else:
          return {"status": "duplicate", "message": "请求已处理"}
  

数据库层面强制防重复 #

• 添加唯一约束/唯一索引：针对业务上应该唯一的字段组合创建唯一索引，比如如果是用户提交的操作记录，可以用user_id + operation_type + epoch_ms（改用毫秒级时间戳）作为唯一键。一旦有重复插入，数据库会直接抛出主键冲突错误，阻止重复记录生成。
  示例SQL（MySQL）：

  ALTER TABLE your_table ADD UNIQUE INDEX idx_unique_record (user_id, operation_type, epoch_ms);
  

• 使用INSERT ... ON DUPLICATE KEY UPDATE：如果需要在遇到重复时更新现有记录而非直接拒绝，可以用该语句。比如：

  INSERT INTO your_table (user_id, content, epoch_ms)
  VALUES (123, 'test content', 1718000000000)
  ON DUPLICATE KEY UPDATE content = VALUES(content), update_time = NOW();
  

优化时间戳精度 #

• 将epoch时间从秒级提升到毫秒级甚至纳秒级，大幅降低同一时间戳的出现概率，但这只能作为辅助手段，不能替代幂等校验和唯一约束，因为极端高并发下仍可能出现相同时间戳。

服务端流程优化 #

• 检查网关、负载均衡或服务内部的重试配置，避免无差别重试POST请求；如需重试，必须确保请求是幂等的。
• 避免在事务提交失败后直接重试插入，应先校验业务是否已存在该记录，再决定是否执行插入。

内容的提问来源于stack exchange，提问作者Leong