如何在Spring Boot多模块中关联SQL表与Elasticsearch索引?
Spring Boot 多模块架构下 Oracle(JPA)与 Elasticsearch 数据关联实现方案
模块拆分的合理结构
你初步设想的拆分为Oracle操作模块、ES操作模块的方向是完全可行的,只要注意把模块的依赖边界划清楚,避免出现双向耦合就行:
- 最底层两个完全解耦的数据访问模块:
repository-oracle模块:仅存放JPA注解的Oracle实体类、Spring Data JPA Repository接口、Oracle连接与事务配置,该模块完全不引入ES相关依赖,不感知ES的存在repository-es模块:仅存放Spring Data ES注解的文档实体类、Elasticsearch Repository接口、ES连接配置,该模块完全不引入JPA相关依赖,不感知Oracle的存在
- 中间层业务编排模块:
新增service-biz模块作为上层承接,同时依赖上面两个数据访问模块,所有跨两个存储的关联逻辑、数据组装、同步规则都在这个模块实现,绝对不要把跨存储的关联逻辑写进两个数据访问模块内部,否则模块拆分就会失去解耦的意义。
两类存储的核心关联逻辑
Oracle和ES属于异构存储,无法实现数据库层面的强外键关联,行业通用的方案是基于全局唯一业务标识做软关联,具体落地方式如下:
1. 统一关联键的约定
在全业务域范围内约定一个全局唯一的业务标识,比如bizId:
- 在Oracle的对应业务表中,将该字段设置为主键或唯一索引,保证单条业务数据的ID全局不重复
- 在ES的对应索引中,将该标识作为文档的
_id存储,同时在文档内部冗余该字段作为查询过滤条件,保证两边可以通过同一个ID匹配到对应的关联数据
举个实际场景的例子:存储用户核心账号信息(账号状态、手机号、实名信息)的表存放在Oracle,存储用户发布内容的全文检索、标签聚合的索引存放在ES,两边的关联键就是统一的userId: - Oracle侧
sys_user表的主键就是user_id - ES侧
user_content索引的每个文档,_id字段存该内容所属的user_id,文档内也单独存user_id字段做筛选
2. 关联查询的实现方式
根据不同的查询入口,调整对应的查询逻辑:
- 当查询入口在ES(比如全文检索用户发布的内容):先从ES拿到匹配的文档集合,提取出所有关联的
bizId,再调用Oracle模块的批量查询接口,按bizId集合拉取对应的Oracle业务数据,最后在内存中按bizId做映射,组装成最终返回的业务VO - 当查询入口在Oracle(比如按账号状态筛选正常用户):先从Oracle拿到符合条件的用户
bizId集合,再调用ES模块的批量查询/聚合接口,按bizId集合拉取对应的ES索引数据,同样在内存中按bizId做映射组装结果
实操优化点:批量查询时一定要使用批量接口,比如JPA侧用findAllById(Iterable<Long> ids),ES侧用termsQuery("bizId", id集合),禁止在循环中做单条查询,否则会严重拉高数据库和ES的请求次数,导致性能下降。
3. 写路径的关联与一致性保障
因为两个存储无法实现跨库强事务,需要做写路径的关联设计:
- 所有涉及Oracle数据变更的操作,先在JPA的本地事务里完成Oracle的持久化,拿到生成的
bizId - 等Oracle的事务提交成功后,再调用ES模块的写入接口,把需要同步到ES的字段组装成带
bizId的文档写入ES索引 - 不要把ES的写操作放进JPA的事务范围里,否则会出现Oracle事务回滚、ES数据已经写入的不一致问题
- 可以补充轻量的定时校验任务,定期抽样比对两边同一
bizId的数据,发现不一致时以Oracle数据为准,重新同步覆盖ES的文档
配置注意事项
- 两个数据访问模块的扫描范围要完全隔离:避免Spring Boot自动扫描到跨模块的实体和Repository,导致映射冲突。可以在主启动类上手动指定扫描路径:
- 给JPA配置指定Oracle模块的实体和Repository路径:
@EntityScan(basePackages = "com.xxx.repository.oracle.entity")、@EnableJpaRepositories(basePackages = "com.xxx.repository.oracle.repository") - 给ES配置指定ES模块的文档和Repository路径:
@DocumentScan(basePackages = "com.xxx.repository.es.doc")、@EnableElasticsearchRepositories(basePackages = "com.xxx.repository.es.repository")
- 给JPA配置指定Oracle模块的实体和Repository路径:
- 不要在JPA实体类上叠加ES注解,也不要在ES文档类上叠加JPA注解,两类实体完全独立维护,仅通过共用的
bizId做关联即可 - 如果关联查询的结果集很大,不要把两边的全量结果拉到内存做映射,可以做分页分片处理,比如每批处理100条数据,完成映射后再拉取下一批,避免内存溢出
内容的提问来源于stack exchange,提问作者rbm
相关产品推荐
相关产品推荐

