OpenSearch查询结果排序异常求助：大数值ts_id排序错误

问题根源 #

你的ts_id值（如1703462528114626562）远超过JavaScript Number类型的精度上限（2^53-1，即9007199254740991）。在基于JS的环境（比如OpenSearch Dev Tools）中，这类大数字会被自动转换为近似值，导致写入时存储的数值不准确，或者查询返回时显示的数值失真，最终引发排序异常。

排查步骤 #

1. 验证存储的实际数值
   使用script_fields查看OpenSearch中实际存储的ts_id字符串形式，确认是否被篡改：

   GET /your_index/_search
   {
     "size": 3,
     "sort": [ { "ts_id": {"order": "desc"} }],
     "query": {
       "bool": {
         "filter": [ { "term": { "myid": "1" } } ]
       }
     },
     "script_fields": {
       "ts_id_str": {
         "script": "doc['ts_id'].value.toString()"
       }
     }
   }
   

   如果ts_id_str显示的数值与你写入的一致，但_source中的ts_id是近似值，说明是JS环境的显示问题，实际排序逻辑是正确的；如果ts_id_str也不一致，说明写入时数值已被篡改。

2. 检查写入环节的数值传递
   若使用Dev Tools写入数据，直接输入大数字会被JS截断，导致存储值不准确。可以尝试用字符串形式传递ts_id，再通过管道转换为long类型，验证是否能存储准确值。

解决方案 #

方案1：改用keyword类型存储并数值排序 #

将ts_id映射改为keyword类型，避免JS数字精度问题，同时排序时指定按数值排序：

1. 更新索引映射：

   PUT /your_index/_mapping
   {
     "properties": {
       "ts_id": {
         "type": "keyword"
       }
     }
   }
   

2. 重新写入数据（ts_id以字符串形式传递）：

   PUT /your_index/_doc/3
   {
     "myid": "1",
     "ts_id": "1703462528114626562"
   }
   

3. 查询时指定数值排序：

   GET /your_index/_search
   {
     "size": 3,
     "sort": [
       {
         "ts_id": {
           "order": "desc",
           "numeric_type": "long"
         }
       }
     ],
     "query": {
       "bool": {
         "filter": [ { "term": { "myid": "1" } } ]
       }
     }
   }
   

方案2：使用支持大数字的客户端写入 #

改用Python、Java等原生支持大整数的客户端写入数据，这些语言不会截断超过2^53的数值，确保OpenSearch存储的ts_id完全准确，排序自然正常。

方案3：通过Ingest Pipeline转换字符串为long #

如果必须使用Dev Tools，可创建管道将字符串形式的ts_id转换为long类型，避免JS截断：

1. 创建转换管道：

   PUT _ingest/pipeline/convert_ts_id
   {
     "processors": [
       {
         "convert": {
           "field": "ts_id",
           "type": "long",
           "ignore_missing": false
         }
       }
     ]
   }
   

2. 写入时指定管道：

   PUT /your_index/_doc/3?pipeline=convert_ts_id
   {
     "myid": "1",
     "ts_id": "1703462528114626562"
   }
   

内容的提问来源于stack exchange，提问作者userbb