Elasticsearch 7.16日期字段Min/Max聚合value_as_string异常咨询

核心原因：字段映射变更导致的数据类型混合 #

尽管udf41与serviceDate的当前映射一致，但udf41大概率存在历史映射变更导致的类型混合问题：

• 若该字段最初被定义为text/keyword类型，后续修改为date类型后，旧文档中的udf41值仍以字符串形式留存（例如"1682812800000"），而新文档则按date类型存储为长整型时间戳。
• 执行max聚合时，Elasticsearch会跨类型比较值：字符串类型的时间戳会被判定为最大值（字符串与数字的比较逻辑导致）。
• 当聚合指定format时，Elasticsearch无法将该字符串值解析为合法日期，因此错误地将格式字符串与原字符串直接拼接，产生"yyyy-MM-dd1682812800000"的异常结果。

其他可能诱因 #

• 无效数据兼容配置：若udf41字段开启了ignore_malformed: true，部分无法解析为日期的字符串值会被保留，聚合时触发异常格式化逻辑。
• 版本固有bug：Elasticsearch 7.16存在日期聚合格式化的偶发bug，针对多格式日期字段且聚合指定格式的场景，可能出现格式字符串与时间戳拼接的错误，该问题在7.17及以上版本已修复。

验证步骤 #

1. 检查udf41字段的实际存储类型：

GET /your_index/_search
{
  "query": { "exists": { "field": "udf41" } },
  "script_fields": {
    "field_type": {
      "script": "doc['udf41'].getClass().getSimpleName()"
    }
  },
  "size": 10
}

若返回结果中出现TextDocValuesField，则证明存在text类型的历史数据。

2. 查看udf41聚合最大值的原始值：

GET /your_index/_search
{
  "aggs": {
    "udf41_max_raw": { "max": { "field": "udf41" } }
  }
}

若value为字符串而非长整型，则验证了类型混合的推测。

解决方案 #

1. 重新索引数据：创建新索引并将所有文档重新索引，确保udf41字段统一按date类型存储。
2. 修正历史数据：通过更新脚本将text类型的udf41值转换为合法的日期时间戳。
3. 升级版本：若为版本bug，升级至7.17及以上版本即可解决。

内容的提问来源于stack exchange，提问作者Bijay