Elasticsearch日期字段实现部分匹配搜索的方法咨询
为什么原有查询对日期字段完全不生效
核心原因是ES的date类型根本不是按文本逻辑存储的:
- 索引时ES会把
2019-08-28这类日期字符串转成毫秒时间戳的数值,走专门的数值索引结构,完全不会保留原始日期字符串的文本内容、分词项。 - 你哪怕开了
analyze_wildcard,碰到date字段时ES会优先把查询输入当成“要匹配的完整日期值”去解析,比如输入"2019"的时候,因为解析不出合法的完整日期,直接返回不匹配,根本不会走到文本通配符匹配的逻辑,和你搜customer这类文本字段的逻辑完全不兼容。 - 你提到的官方关于部分日期处理的社区讨论,本质上就是大家在提议给date字段原生增加这种字符串片段匹配的能力,但到目前为止还没有落地的内置支持,必须手动配置才能实现需求。
可落地的实现方案
方案1:给date字段加文本型多字段,零改动适配现有查询逻辑
这个是改动最小的方案,完全兼容你现在已经写好的simple_query_string通配符查询逻辑,不用改太多业务代码。
- 调整索引映射,给
startDate增加一个keyword类型的子字段,专门存原始的日期字符串用来做片段匹配:{ "mappings": { "properties": { "startDate": { "type": "date", "format": "yyyy-MM-dd", "fields": { "as_match_text": { "type": "keyword" } } } } } } - 如果是已经有数据的存量索引,改完映射后一定要跑一次reindex,把所有旧文档的
startDate值同步到startDate.as_match_text子字段里,不然老数据是搜不到的。 - 写查询的时候,只要把这个新的子字段加到
simple_query_string的fields列表里就行,原来的通配符逻辑完全不用变:
配置完之后,你输入"2019"、"2019-08"、"2019-0"这类片段,都能通过通配符匹配到{ "simple_query_string": { "fields": [ "customer", "startDate.as_match_text" ], "query": "* Andrew * *2019-0*", "analyze_wildcard": "true", "default_operator": "AND" } }startDate.as_match_text里存储的"2019-08-28"完整值,完全符合你的需求。
提醒:这个方案在中小数据量下性能完全够用,但如果是亿级规模的大索引,前导通配符(比如*2019)的检索会遍历所有倒排项,性能会有明显下降。
方案2:把日期片段转成时间范围查询,生产级最优性能
这个方案不需要加任何额外字段,是大索引场景下的首选方案,查询性能比通配符高一个量级。
核心逻辑很简单:你输入的日期片段本质上就是想匹配某一个时间区间的所有日期,完全可以在应用层把用户输入的片段转换成对应的闭区间范围,再用原生的range查询去匹配date字段:
- 输入"2019":对应范围是
startDate >= 2019-01-01 且 startDate <= 2019-12-31 - 输入"2019-08":对应范围是
startDate >= 2019-08-01 且 startDate <= 2019-08-31
对应的查询示例(和你的customer文本搜索结合的写法):
{ "bool": { "must": [ { "simple_query_string": { "fields": ["customer"], "query": "*Andrew*", "analyze_wildcard": "true", "default_operator": "AND" } }, { "range": { "startDate": { "gte": "2019-08-01", "lte": "2019-08-31" } } } ] } }
因为date类型的范围查询走原生的BKD树索引,哪怕是非常大的数据量,也能保持毫秒级的查询性能,完全没有通配符带来的性能隐患。
避坑提醒
- 千万别直接在原始date字段上写通配符查询,这种写法ES根本不会识别,100%匹配不到结果,很多人刚接触的时候都会踩这个坑。
- 如果你需要支持更灵活的输入,比如用户输"08-28"就能匹配所有8月28日的记录,可以给前面提到的
as_match_text子字段搭配ngram分词器,不用写复杂的范围转换逻辑,只是配置会稍微麻烦一点。
内容的提问来源于stack exchange,提问作者Aman Mahra
相关产品推荐
相关产品推荐

