如何将基于Postgres的Spring应用改为以ElasticSearch为数据存储？

1. 依赖与配置调整 #

• 移除原有JPA与PostgreSQL依赖：

  <!-- 移除这些 -->
  <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-data-jpa</artifactId>
  </dependency>
  <dependency>
      <groupId>org.postgresql</groupId>
      <artifactId>postgresql</artifactId>
      <scope>runtime</scope>
  </dependency>
  

• 添加Elasticsearch相关依赖（以Spring Boot为例）：

  <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
  </dependency>
  

• 配置ES连接信息（application.yml）：

  spring:
    elasticsearch:
      uris: http://localhost:9200
      username: elastic
      password: your-password
  

  注意：需保证Spring Data Elasticsearch版本与ES服务端版本兼容（参考官方版本映射表）。

2. 实体类改造（核心差异） #

Elasticsearch是文档型数据库，实体类需适配其索引结构，替换JPA注解为ES专属注解：

原JPA实体示例 #

import jakarta.persistence.*;
import java.util.Date;

@Entity
@Table(name = "user_info")
public class User {
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    
    @Column(name = "user_name")
    private String username;
    
    @Column(name = "email")
    private String email;
    
    @Column(name = "create_time")
    private Date createTime;
    
    // getter/setter
}

改造后的ES实体示例 #

import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;
import java.util.Date;

// 指定索引名，分片、副本数可按需配置
@Document(indexName = "user_info", shards = 3, replicas = 1)
public class User {
    @Id // ES文档ID，可手动指定或自动生成UUID
    private String id; // 建议用String类型，适配ES自动生成的UUID
    
    // Keyword类型用于精确匹配、排序；Text类型用于全文检索
    @Field(type = FieldType.Keyword)
    private String username;
    
    @Field(type = FieldType.Text, analyzer = "ik_max_word") // 中文分词器需提前安装
    private String email;
    
    @Field(type = FieldType.Date, format = "yyyy-MM-dd HH:mm:ss")
    private Date createTime;
    
    // getter/setter
}

关键注意点：

• ES无自增主键原生支持，若需保留原自增ID，需手动赋值；否则可让ES自动生成UUID（实体类ID设为String，插入时不传值即可）。
• 根据字段用途选择FieldType：如用户名、编码用Keyword（精确匹配），内容、描述用Text（全文检索），日期用Date并指定格式。

3. 仓库层改造 #

替换JpaRepository为ElasticsearchRepository或ElasticsearchRestRepository（新版推荐Rest客户端实现）：

原JPA仓库 #

import org.springframework.data.jpa.repository.JpaRepository;

public interface UserRepository extends JpaRepository<User, Long> {
    User findByUsername(String username);
}

改造后的ES仓库 #

import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;

public interface UserRepository extends ElasticsearchRepository<User, String> {
    // Spring Data ES支持类似JPA的方法命名查询，适配ES字段特性
    User findByUsername(String username); // 对应Keyword字段的精确匹配
    
    // 自定义DSL查询示例
    @Query("{" +
            "  \"match\": {" +
            "    \"email\": \"?0\"" +
            "  }" +
            "}")
    User findByEmail(String email);
}

注意：ES的方法命名规则与JPA略有差异，比如模糊匹配需用findByUsernameContaining（对应Text字段的前缀匹配），而非JPA的findByUsernameLike。

4. 业务逻辑层适配 #

事务处理 #

Elasticsearch不支持ACID事务，仅提供单文档操作的原子性。需移除业务层中针对ES操作的@Transactional注解，若涉及多数据源事务，需重新设计业务逻辑（比如补偿机制）。

查询逻辑改造 #

将JPA的JPQL/Criteria查询替换为ES的DSL查询或NativeSearchQueryBuilder：

import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;
import org.springframework.data.elasticsearch.core.query.Query;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.elasticsearch.index.query.QueryBuilders;

// 业务层示例
@Service
public class UserService {
    private final UserRepository userRepository;
    private final ElasticsearchRestTemplate esTemplate;

    public UserService(UserRepository userRepository, ElasticsearchRestTemplate esTemplate) {
        this.userRepository = userRepository;
        this.esTemplate = esTemplate;
    }

    // 复杂分页查询示例
    public Page<User> searchUsers(String keyword, int page, int size) {
        Query query = new NativeSearchQueryBuilder()
                .withQuery(QueryBuilders.multiMatchQuery(keyword, "username", "email"))
                .withPageable(PageRequest.of(page, size))
                .build();
        return esTemplate.search(query, User.class).map(hit -> hit.getContent());
    }
}

主键生成适配 #

若需保留原PostgreSQL的自增ID，需在插入ES前手动赋值；若用ES自动生成ID，插入时无需设置ID字段：

// 自动生成ID
User user = new User();
user.setUsername("test");
user.setEmail("test@example.com");
user.setCreateTime(new Date());
userRepository.save(user); // ES会自动生成UUID作为id

5. 数据迁移 #

从PostgreSQL批量迁移数据到Elasticsearch，可通过以下方式实现：

方式1：Spring Batch批量迁移 #

// 简化示例，需结合Spring Batch完整配置
@Component
public class DataMigrationTask {
    private final JpaRepository<UserJpa, Long> jpaRepository;
    private final UserRepository esRepository;

    public DataMigrationTask(JpaRepository<UserJpa, Long> jpaRepository, UserRepository esRepository) {
        this.jpaRepository = jpaRepository;
        this.esRepository = esRepository;
    }

    public void migrate() {
        // 分页读取PostgreSQL数据，避免内存溢出
        Page<UserJpa> page = jpaRepository.findAll(PageRequest.of(0, 1000));
        while (page.hasContent()) {
            List<User> esUsers = page.getContent().stream()
                    .map(jpaUser -> {
                        User esUser = new User();
                        esUser.setId(jpaUser.getId().toString()); // 转换为String类型ID
                        esUser.setUsername(jpaUser.getUsername());
                        esUser.setEmail(jpaUser.getEmail());
                        esUser.setCreateTime(jpaUser.getCreateTime());
                        return esUser;
                    })
                    .toList();
            esRepository.saveAll(esUsers);
            page = jpaRepository.findAll(page.nextPageable());
        }
    }
}

方式2：Logstash JDBC输入插件（无需代码） #

配置Logstash读取PostgreSQL数据并写入ES，适合大规模数据迁移，可参考官方文档配置jdbc输入和elasticsearch输出。

6. 特性适配与性能优化 #

• 全文检索：将原有的LIKE '%xxx%'替换为ES的match或multi_match查询，利用分词器提升检索效率。
• 聚合查询：原JPA的GROUP BY需替换为ES的聚合（Aggregation），比如统计用户分布：

  import org.elasticsearch.search.aggregations.AggregationBuilders;
  import org.elasticsearch.search.aggregations.bucket.terms.Terms;
  import org.springframework.data.elasticsearch.core.Aggregations;
  
  Query query = new NativeSearchQueryBuilder()
          .addAggregation(AggregationBuilders.terms("username_count").field("username"))
          .build();
  Aggregations aggregations = esTemplate.search(query, User.class).getAggregations();
  Terms terms = aggregations.get("username_count");
  // 处理聚合结果
  

• 缓存：ES自带查询缓存，可关闭Spring Cache中针对ES查询的缓存，或配置ES的缓存策略。

内容的提问来源于stack exchange，提问作者trs80