如何用ElasticsearchRepository(Java/Spring-data)拆分JSON字段存入ES

问题背景 #

我尝试将仅包含JSON字符串的实体存储到Elasticsearch中，但希望JSON文档中的字段能在Elasticsearch中单独存储，而非作为单个字符串。我正在使用ElasticsearchRepository：

public interface MyRepository extends ElasticsearchRepository<MyEntity, Long>

我的实体类配置如下：

@NoArgsConstructor
@Getter
@Setter
@Document(indexName = "my-index")
public class MyEntity
{
    @Id
    private Long key;
    private String json;
}

如果JSON结构简单，我可以在实体类中重新创建所有字段并映射，例如JSON内容为json = "{\"key\":\"123\", \"name\":\"Bob\", \"age\":30, ...}"，实体类对应定义name、age等字段，但实际JSON包含数百个嵌套字段，因此不想手动定义所有字段。请问能否无需编写所有字段，仍通过repository.save()实现需求？

相关问题（2015年）的解决方案使用setSource(jsonDoc)传入JSON文件，但未涉及含JSON字段的实体存储。

解决方案 #

方案1：改用Map类型字段结合动态映射 #

修改实体类的json字段类型为Map<String, Object>，并通过@Field注解指定字段类型为Object，利用Elasticsearch的动态映射自动识别嵌套字段：

@NoArgsConstructor
@Getter
@Setter
@Document(indexName = "my-index")
public class MyEntity
{
    @Id
    private Long key;
    
    @Field(type = FieldType.Object, dynamic = Dynamic.TRUE)
    private Map<String, Object> json;
}

使用时，先将JSON字符串反序列化为Map（以Jackson为例）：

ObjectMapper objectMapper = new ObjectMapper();
String jsonStr = "{\"key\":\"123\", \"name\":\"Bob\", \"age\":30, ...}";
Map<String, Object> jsonMap = objectMapper.readValue(jsonStr, new TypeReference<Map<String, Object>>() {});

MyEntity entity = new MyEntity();
entity.setKey(1L);
entity.setJson(jsonMap);

myRepository.save(entity);

这种方式下，Elasticsearch会自动解析json字段下的所有嵌套结构，将它们作为独立字段存储，无需手动定义每个字段。

方案2：自定义实体序列化逻辑 #

如果不想修改实体类字段类型，可以自定义EntityMapper拦截序列化过程，直接将json字符串解析为JSON对象嵌入文档：

1. 实现自定义EntityMapper及序列化器：

@Component
public class CustomEntityMapper implements EntityMapper {

    private final ObjectMapper objectMapper;

    public CustomEntityMapper(ObjectMapper objectMapper) {
        this.objectMapper = objectMapper;
        objectMapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);
        objectMapper.configure(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS, false);
        objectMapper.registerModule(new SimpleModule().addSerializer(new JsonStringSerializer()));
    }

    @Override
    public String mapToString(Object object) throws IOException {
        return objectMapper.writeValueAsString(object);
    }

    @Override
    public <T> T mapToObject(String source, Class<T> clazz) throws IOException {
        return objectMapper.readValue(source, clazz);
    }

    private static class JsonStringSerializer extends StdSerializer<String> {
        protected JsonStringSerializer() {
            super(String.class);
        }

        @Override
        public void serialize(String value, JsonGenerator gen, SerializerProvider provider) throws IOException {
            if (value != null && value.trim().startsWith("{") && value.trim().endsWith("}")) {
                JsonNode node = objectMapper.readTree(value);
                gen.writeTree(node);
            } else {
                gen.writeString(value);
            }
        }
    }
}

2. 配置Elasticsearch使用自定义EntityMapper：

@Configuration
public class ElasticsearchConfig extends AbstractElasticsearchConfiguration {

    @Override
    @Bean
    public RestHighLevelClient elasticsearchClient() {
        ClientConfiguration clientConfiguration = ClientConfiguration.builder()
                .connectedTo("localhost:9200")
                .build();
        return RestClients.create(clientConfiguration).rest();
    }

    @Bean
    @Override
    public EntityMapper entityMapper() {
        ObjectMapper objectMapper = new ObjectMapper();
        return new CustomEntityMapper(objectMapper);
    }
}

配置完成后，调用repository.save()时，json字段的字符串内容会被直接解析为JSON对象，Elasticsearch会自动创建对应字段的映射。

注意事项 #

• 确保Elasticsearch索引的dynamic参数为true（默认值），这样才能自动识别新增字段。
• 嵌套结构会被Elasticsearch自动识别为嵌套字段类型，无需额外配置。

内容的提问来源于stack exchange，提问作者Richard