Spring Boot查询Elasticsearch指定字段的技术问题咨询

前置信息 #

已验证的Elasticsearch查询语句 #

使用_source的查询

GET index-2022.07.27/_search
{
  "from": 0,
  "size": 100,
  "_source": ["@timestamp","message", "agent.id"],
  "query": {
      "match_all": {}
  }
}

使用fields的查询返回结构示例

{
    "_index": "index-2022.07.27",
    "_id": "C1zzPoIBgxar5OgxR-cs",
    "_score": 1,
    "_ignored": [
      "event.original.keyword"
    ],
    "fields": {
      "@timestamp": [
        "2022-07-27T09:18:27.465Z"
      ],
      "agent.id": [
        "ddece977-9fbb-4f63-896c-d3cf5708f846"
      ],
      "message": [
        "\"a message\""
      ]
    }
}

版本信息 #

• Elasticsearch 集群：8.3.2
• Spring Boot：2.6.6
• Elasticsearch Java Client：7.15.2
• Spring Data Elasticsearch：4.3.3

问题解答 #

1. Spring Boot 中实现目标查询的两种方式 #

方式一：修正StringQuery写法

原代码无法正常工作的核心原因是实体类映射不匹配，确保查询语句正确后配合对应实体类即可：

// 用Java文本块简化JSON编写（Java 15+），避免转义问题
Query searchQuery = new StringQuery("""
    {
      "from": 0,
      "size": 100,
      "_source": ["@timestamp","message", "agent.id"],
      "query": {"match_all": {}}
    }
""");

SearchHits<Items> searchHits = elasticsearchOperations.search(
    searchQuery,
    Items.class,
    IndexCoordinates.of(CURRENT_INDEX));

方式二：使用NativeSearchQueryBuilder（推荐，类型安全）

无需手写JSON，更易维护和排查问题：

NativeSearchQuery searchQuery = new NativeSearchQueryBuilder()
    .withQuery(QueryBuilders.matchAllQuery())
    .withSourceFilter(new FetchSourceFilter(
        new String[]{"@timestamp", "message", "agent.id"}, // 指定要返回的字段
        null // 无需排除字段，设为null
    ))
    .withPageable(PageRequest.of(0, 100)) // 对应ES查询的from和size
    .build();

SearchHits<Items> searchHits = elasticsearchOperations.search(
    searchQuery,
    Items.class,
    IndexCoordinates.of(CURRENT_INDEX));

2. Items实体类定义 #

对应ES返回的_source结构，嵌套agent对象并标记可选字段：

import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;
import java.time.Instant;
import javax.annotation.Nullable;

// 由于不控制索引结构，indexName留空，查询时通过IndexCoordinates指定目标索引
@Document(indexName = "")
public class Items {

    @Id
    private String id; // 映射ES文档的_id字段

    @Field(name = "@timestamp", type = FieldType.Date, pattern = "uuuu-MM-dd'T'HH:mm:ss.SSSX")
    private Instant timestamp;

    @Field(name = "message", type = FieldType.Text)
    private String message;

    @Nullable // 标记为可选字段，ES文档无该字段时实体类对应值为null
    @Field(name = "agent", type = FieldType.Nested)
    private Agent agent;

    // 内部类映射ES中的agent嵌套对象
    public static class Agent {
        @Field(name = "id", type = FieldType.Keyword)
        private String id;

        // Getter & Setter
        public String getId() { return id; }
        public void setId(String id) { this.id = id; }
    }

    // 全局字段的Getter & Setter
    public String getId() { return id; }
    public void setId(String id) { this.id = id; }

    public Instant getTimestamp() { return timestamp; }
    public void setTimestamp(Instant timestamp) { this.timestamp = timestamp; }

    public String getMessage() { return message; }
    public void setMessage(String message) { this.message = message; }

    public Agent getAgent() { return agent; }
    public void setAgent(Agent agent) { this.agent = agent; }
}

3. 字段映射实现 #

通过Spring Data Elasticsearch注解完成映射，核心要点：

• @Field(name = "@timestamp")：指定ES中对应的字段名，配置时间格式匹配ES的ISO 8601标准时间格式，确保日期类型正确转换。
• @Field(name = "agent", type = FieldType.Nested)：标记agent为嵌套类型，对应ES中的嵌套对象结构，保证嵌套字段的正确映射。
• @Nullable：标记agent字段为可选，避免ES文档缺失该字段时出现映射异常。
• @Id：映射ES文档的_id字段，方便后续定位或操作单个文档（非必须，但建议保留）。

若选择使用fields查询而非_source，需将实体类字段定义为List<String>类型（因为fields返回的是数组结构），但更推荐使用_source查询，结构更直观，映射逻辑更简单。

内容的提问来源于stack exchange，提问作者thahgr