跨Schema不关联两表，如何分页查询从未访问系统的用户？

一、“分批取users数据校验”的可行性 #

这种方式可行但效率较低，适合数据量不大或符合条件的用户占比不低的场景。可以优化逻辑来减少无效调用：

• 每次从users表按id有序拉取一批数据（比如一次取20条，比目标10条多），将这批user_id传给logs微服务的查询接口，返回其中存在访问记录的user_id列表。
• 在本地过滤掉存在的user_id，收集符合条件的用户。如果一次收集够10个就停止，不够的话继续拉取下一批（以上次拉取的最大id为起点）。
• 缺点：如果符合条件的用户极少，可能需要多次调用两个微服务的接口，性能开销大；若存在并发写入logs的情况，可能出现刚校验完的用户马上产生日志，导致结果不准确。

二、全量拉取数据到Java处理的风险 #

不推荐这种方案，除非users和logs的数据量都极小（比如万级以内）。如果数据量达到十万甚至百万级：

• 全量拉取会占用大量网络带宽，容易导致接口超时。
• 内存中存储全量数据会引发OOM风险，且本地过滤、排序的效率远低于数据库层面的查询优化。

三、开放Schema互访权限的合理性 #

这是最优解，因为数据库原生的关联查询（比如NOT EXISTS）经过Oracle优化器处理，性能远高于应用层的逻辑处理。可以做权限最小化控制：

• 给users所在的Schema授予logs表的只读权限（仅允许查询user_id字段），避免越权访问敏感数据。
• 或者在logs所在的Schema创建一个仅包含user_id的视图，再给users的Schema授权访问该视图。
• 之后就可以直接用原生SQL实现分页查询：

  SELECT id, name
  FROM users u
  WHERE NOT EXISTS (
      SELECT 1 FROM logs l WHERE l.user_id = u.id
  )
  ORDER BY id
  FETCH FIRST 10 ROWS ONLY;
  

  若需分页（比如第2页的10条），可以用OFFSET：

  SELECT id, name
  FROM users u
  WHERE NOT EXISTS (
      SELECT 1 FROM logs l WHERE l.user_id = u.id
  )
  ORDER BY id
  OFFSET 10 ROWS FETCH NEXT 10 ROWS ONLY;
  

• 需评估微服务架构的隔离要求，如果开放权限违反团队架构规范，再考虑其他方案。

四、不关联两表的分页查询替代方案 #

如果确实不能开放跨Schema权限，可以采用以下两种方案：

1. 分段批量校验+本地过滤 #

• 按user_id的范围分段（比如每段1000个ID），先从users拉取该段内的所有用户，同时调用logs微服务的接口查询该段内有访问记录的user_id。
• 本地过滤出不在logs结果中的用户，收集到10个后停止。如果当前段不够，继续下一段。
• 优势：比逐批小量拉取的调用次数少，且能保证分页的连续性（按ID范围分段，不会重复）。

2. 缓存日志用户ID #

• 若业务允许一定延迟（比如实时性要求不高），可以让logs微服务定期（比如每日凌晨）导出所有有访问记录的user_id，同步到users微服务的缓存存储（比如Redis的Set集合，或者本地的一张小表）。
• users微服务直接查询本地缓存，用集合差集的方式筛选无访问记录的用户，实现分页。
• 优势：几乎和数据库关联查询的效率一致，且不跨微服务实时调用，降低耦合。

内容的提问来源于stack exchange，提问作者vlddlv4