Solr中使用Json Facet Query计算百分位数结果不一致问题咨询

当Solr集合中符合过滤条件的记录超过1000条时，相同查询返回的百分位数结果每次不同，核心原因是Solr默认的百分位数计算采用近似算法：

• Solr的percentile函数默认使用T-Digest算法，当数据量超过阈值（默认1000条）时，会自动启用采样近似计算，以此平衡性能与精度，这就导致每次计算的结果存在差异。
• 另外要先确认：你的集合是否在查询间隙有数据写入或更新，如果数据本身在动态变化，结果不同是正常现象。

针对这个问题，有两种解决思路：

1. 强制精确计算 #

如果对精度要求极高，且能接受性能损耗，可以指定method=exact参数，让Solr遍历所有数据计算精确百分位数。修改后的查询示例：

json.facet = {
    "time": "sum(time)",
    "users": "sum(numofusers)",
    "queryfacet": {
        "q": "time: [0 TO 50000}",
        "type": "query",
        "facet": {
            "timepercentile": "percentile(time, 95, \"method=exact\")"
        }
    }
}

注意：精确计算在数据量极大时会显著增加内存占用和查询耗时，需根据实际场景评估可行性。

2. 提升近似算法的精度 #

如果不想牺牲太多性能，可以调整T-Digest算法的compression参数（默认值为100）。该值越大，算法的精度越高，结果越接近精确值，同时内存占用和计算时间也会相应增加。示例：

json.facet = {
    "time": "sum(time)",
    "users": "sum(numofusers)",
    "queryfacet": {
        "q": "time: [0 TO 50000}",
        "type": "query",
        "facet": {
            "timepercentile": "percentile(time, 95, \"compression=200\")"
        }
    }
}

可以根据实际需求逐步调整compression的值，找到精度与性能的平衡点。

内容的提问来源于stack exchange，提问作者Shubham Goyal