如何在不产生数据重复的前提下建立两个异构微服务间的关联关系

方案选型说明 #

你的场景对应两个独立微服务绑定独立Mongo实例，要求关联过程不产生重复数据，因此优先排除数据同步、冗余落库类方案，可根据业务场景选择以下两种落地路径：

方案1：通用聚合层API（推荐，符合微服务架构规范） #

完全不侵入现有两个微服务的内部逻辑，也不会引入任何冗余存储，是生产环境首选方案。

实现逻辑 #

• 单独开发轻量无状态聚合服务，作为公共查询入口，对外提供统一关联查询API
• 聚合服务内部先调用Rust用户服务的公开接口拉取用户基础数据，再调用Node交易服务的公开接口拉取对应交易数据，通过userId字段做内存关联
• 关联逻辑内置唯一键校验规则，从根源避免返回重复条目

核心公共函数示例（可跨语言复用逻辑） #

// 通用关联查询函数，内置去重逻辑
async function queryUserWithTransactions(userId, userSvcAddr, transactionSvcAddr) {
  // 并发拉取数据降低耗时，不会重复请求同一资源
  const [userData, transactionList] = await Promise.all([
    fetch(`${userSvcAddr}/users/${userId}`).then(res => res.json()),
    fetch(`${transactionSvcAddr}/transactions?userId=${userId}`).then(res => res.json())
  ])

  // 按用户主键去重，确保单用户仅返回一份数据
  const validUser = userData?._id === userId ? userData : null
  // 按交易主键去重，避免交易列表出现重复条目
  const uniqueTransactions = Array.from(new Map(
    transactionList.map(t => [t._id, t])
  ).values())

  return {
    ...validUser,
    transactions: uniqueTransactions
  }
}

Docker环境适配 #

将聚合服务打包为独立Docker镜像，和现有两个微服务加入同一Docker网络，通过内部服务名调用即可，无需暴露公网端口，性能损耗可忽略。

方案2：Mongo跨实例查询封装（适合内部工具场景） #

如果不需要严格遵守微服务边界，仅用于内部数据查询，可直接封装Mongo联邦查询能力，无需额外开发服务。

实现逻辑 #

• 在其中一个Mongo实例（比如交易服务的Mongo）中配置另一个实例为联邦数据源
• 封装公共查询函数，通过跨实例$lookup做实时关联，查询过程内置去重逻辑

核心查询命令示例 #

// 交易服务Mongo实例执行的跨库关联查询
db.transactions.aggregate([
  // 先按userId过滤，避免全表扫描
  { $match: { userId: ObjectId("xxx") } },
  // 跨实例关联用户服务Mongo的用户数据
  {
    $lookup: {
      from: "users",
      foreignField: "_id",
      localField: "userId",
      database: "user_service_db", // 提前配置的联邦数据源库名
      as: "userInfo"
    }
  },
  // 打散关联结果后按交易ID去重，避免关联产生重复条目
  { $unwind: "$userInfo" },
  { $group: {
    _id: "$_id",
    userId: { $first: "$userId" },
    amount: { $first: "$amount" },
    createTime: { $first: "$createTime" },
    userInfo: { $first: "$userInfo" }
  }}
])

注意事项 #

该方案需要两个Mongo实例网络互通，仅适合内部查询场景，不要对外暴露该查询能力。

统一去重规则 #

两种方案均遵守以下规则，完全避免重复数据：

• 关联唯一键固定为userId（用户服务主键、交易服务外键），关联时仅保留匹配到的第一条用户数据
• 交易列表去重使用交易主键_id作为唯一标识，相同ID的交易仅保留一条
• 所有查询结果返回前都做唯一键校验，避免微服务接口返回重复数据导致结果异常

内容的提问来源于stack exchange，提问作者Manish Sharma