Elasticsearch基于含文件路径字段的count查询返回0结果问题排查

问题根因 #

• 你当前执行前缀查询时指定的是path主字段，该字段为text类型，使用ngram分词器拆分后生成的是短长度的文本片段，无法和多层级的长路径前缀完整匹配，因此查询返回0结果。短路径能命中是因为刚好匹配到了ngram拆分出的短片段。
• 你映射中已经配置了path.raw、path.rawlower这类keyword类型的子字段，存储的是完整的路径原始值，前缀匹配类查询需要针对这类字段执行。

修复方案 #

方案1：直接修改查询字段（最快修复）

将wildcard查询的字段从path改为path.raw即可，修改后的NEST代码如下：

var elasticSettings = new ConnectionSettings(new Uri("https://myelasticurl/"))
        .DefaultIndex("stage-data");

var client = new ElasticClient(elasticSettings);
var folderPrefix = "/test_Folder-ed9cc1294ba841f98fa986be7ac38813/Folder1/Folder2/";

Func<CountDescriptor<dynamic>, ICountRequest> countQueryFilter = q => q.Query(q =>
    q.Match(m => m.Field("volumeId").Query("vol.e144f0bc59914725528f08d995ebd8c3"))
    && q.Match(m => m.Field("dataType").Query("File")) 
    // 替换为path.raw字段做前缀匹配
    && q.Wildcard(m => m.Field("path.raw").Value($"{folderPrefix}*")));

var countResponse= client.CountAsync(countQueryFilter);
Console.WriteLine(countResponse.Result.Count);

如果需要大小写不敏感的路径匹配，可以使用path.rawlower字段，同时将folderPrefix转为全小写即可。

方案2：使用预分词的path.tree字段优化查询性能

wildcard查询在数据量较大时性能偏低，你映射中已经配置了使用路径分词器的path.tree字段，只需要用term查询即可实现更高性能的路径前缀匹配：

Func<CountDescriptor<dynamic>, ICountRequest> countQueryFilter = q => q.Query(q =>
    q.Match(m => m.Field("volumeId").Query("vol.e144f0bc59914725528f08d995ebd8c3"))
    && q.Match(m => m.Field("dataType").Query("File")) 
    // 直接term查询path.tree字段，值为你的文件夹前缀（可根据分词器配置调整是否保留末尾斜杠）
    && q.Term(t => t.Field("path.tree").Value(folderPrefix.TrimEnd('/'))));

验证建议 #

可以先在Elasticsearch的Dev Tools中执行对应的DSL查询确认结果符合预期后，再同步调整C#代码，减少调试成本。

内容的提问来源于stack exchange，提问作者Vikas