使用NEST写入ElasticSearch时IDictionary类型属性存储异常问题

向ElasticSearch写入数据时，IDictionary<string,object>类型的属性写入后存储结构与预期不符，查询返回结果存在异常。

使用的模型定义 #

using Nest;

namespace FrontLine.Db.Elasticsearch.Models
{
    [ElasticsearchType(RelationName = "event")]
    public class Event
    {
        public DateTime TimeStamp { get; set; }

        [Text(Name = "event_name")]
        public string EventName { get; set; } = null!;

        [Object]
        public IDictionary<string,object> Properties { get; set; } = null!;

    }
}

待写入的测试数据 #

[
  {
    "timeStamp": "2022-06-14T20:33:14.866Z",
    "eventName": "hello1",
    "properties": {
      "additionalProp1": "string",
      "additionalProp2": "string",
      "additionalProp3": "string"
    }
  }
]

ElasticSearch实际返回结果 #

[
  {
    "timeStamp": "2022-06-14T20:33:14.866Z",
    "eventName": "hello1",
    "properties": {
      "additionalProp1": {
        "valueKind": 3
      },
      "additionalProp2": {
        "valueKind": 3
      },
      "additionalProp3": {
        "valueKind": 3
      }
    }
  }
]

问题根因 #

返回结果中出现valueKind字段，是因为NEST客户端序列化逻辑异常：当传入的字典值是JSON反序列化生成的System.Text.Json.JsonElement结构时，默认序列化规则会反射遍历该类型的所有公共属性，把表示值类型枚举的ValueKind字段当成普通对象属性写入ES，没有直接提取JsonElement的原始值存储。
同时字段上的空[Object]特性未显式开启动态映射，也会导致字典类型的动态键无法按预期结构存储。

修复方案 #

• 调整模型字段映射配置：给Properties字段的Object特性显式开启动态映射，修改后代码如下：

[Object(Dynamic = DynamicMapping.True)]
public IDictionary<string, object> Properties { get; set; } = null!;

• 调整NEST客户端序列化配置：初始化客户端时，配置序列化规则直接处理JsonElement类型的原始值写入，禁止反射序列化其内部属性。如果写入前的数据源来自接口请求反序列化，可以在反序列化阶段指定将JSON值转换为对应基础CLR类型（string/数字/布尔值等），不要保留为JsonElement类型。
• 清理旧索引：如果之前已经基于错误结构创建过索引，需要删除旧索引后重新创建，或者通过_reindex API迁移数据到配置了正确映射的新索引。旧索引的错误字段映射无法直接修改，会导致新写入的数据仍按旧结构存储。

完成以上配置后重新写入数据，查询返回的Properties字段就会是预期的键值对结构，不会再出现嵌套的valueKind属性。

内容的提问来源于stack exchange，提问作者user19132099