如何在Elasticsearch中正确处理可空字段的映射问题？

问题描述 #

我尝试将以下JSON文档添加至新索引：

[
        {
          "name": "C$",
          "caption": "Default share",
          "description": "Default share",
          "install_date": null,
          "status": "OK",
          "maximum_allowed": null,
          "allow_maximum": true,
          "path": "C:\\",
          "share_type": 2147483648,
          "access_mask": 0
        },
        {
          "name": "D$",
          "caption": "Default share",
          "description": "Default share",
          "install_date": null,
          "status": "OK",
          "maximum_allowed": null,
          "allow_maximum": true,
          "path": "D:\\",
          "share_type": 2147483648,
          "access_mask": 0
        },
        {
          "name": "temp",
          "caption": "temp",
          "description": "",
          "install_date": null,
          "status": "OK",
          "maximum_allowed": 5,
          "allow_maximum": false,
          "path": "C:\\temp",
          "share_type": 0,
          "access_mask": 2032127
        }
      ]

可以看到，install_date字段值为null，maximum_allowed字段可为数值或null类型。

我使用了如下索引模式文档：

"share": {
    "properties": {
        "name": {
            "type": "text"
        },
        "caption": {
            "type": "text"
        },
        "description": {
            "type": "text"
        },
        "install_date": {
            "type": "date",
            "fields": {
                "keyword": {
                    "type": "keyword",
                    "null_value": "NULL"
                }
            }
        },
        "status": {
            "type": "text"
        },
        "allow_maximum": {
            "type": "boolean"
        },
        "maximum_allowed": {
            "type": "long",
            "fields": {
                "keyword": {
                    "type": "keyword",
                    "null_value": "NULL"
                }
            }
        },
        "path": {
            "type": "text"
        },
        "share_type": {
            "type": "long"
        },
        "access_mask": {
            "type": "long"
        }
    }
}

每次测试前我都会删除并重新创建索引，但Elasticsearch始终忽略所有值为NULL的字段。（补充说明：我使用NEST SDK和.NET 7插入文档）。请问在Elasticsearch中处理可空值的正确方式是什么？

解决方法 #

1. 为字段主类型配置null_value #

当前仅在子字段（keyword类型）上设置了null_value，但主字段（date/long类型）未配置。Elasticsearch默认会忽略null值，必须在主字段上显式指定null_value，且该值的类型必须与主字段类型匹配，才能让null值被索引。

修改后的映射示例：

"share": {
    "properties": {
        // 其他字段保持不变
        "install_date": {
            "type": "date",
            "null_value": "1970-01-01T00:00:00Z", // 用合法日期作为date类型的null占位值
            "fields": {
                "keyword": {
                    "type": "keyword",
                    "null_value": "NULL"
                }
            }
        },
        "maximum_allowed": {
            "type": "long",
            "null_value": -1, // 用数值作为long类型的null占位值
            "fields": {
                "keyword": {
                    "type": "keyword",
                    "null_value": "NULL"
                }
            }
        }
        // 其他字段保持不变
    }
}

2. 配置NEST SDK强制序列化null字段 #

在.NET中，可空类型（如DateTime?、long?）默认不会被NEST序列化到请求中，需要修改客户端配置，强制包含null值的字段：

var settings = new ConnectionSettings(new Uri("http://your-es-host:9200"))
    .DefaultIndex("your-index-name")
    .SerializerOptions(options => options.IncludeNullValues()); // 开启null字段序列化

var client = new ElasticClient(settings);

这样NEST会将null值字段发送给Elasticsearch，配合映射中的null_value配置，就能完成null值的索引。

3. 验证索引结果 #

插入文档后，可通过查询验证null值是否被正确索引：

GET your-index-name/_search
{
  "query": {
    "term": {
      "maximum_allowed": -1 // 匹配设置的null_value
    }
  }
}

内容的提问来源于stack exchange，提问作者IbrarMumtaz