Elasticsearch Painless脚本：逗号转点转Float的精度问题排查

问题场景 #

存储的嵌套属性数据示例：

"attributes": [
 {
   "id": "b538c008-5406-4e25-9236-eab62b0cc097",
   "value": "12,5",
   "attributeName": "Height",
   "attributeId": "08e85bc8-c30f-4621-9b66-f0eb785e2056"
 }
]

索引映射：

{
    "attributes": {
        "type": "nested",
        "properties": {
            "attributeName": {
                "type": "text",
                "analyzer": "custom_analyzer"
            },
            "value": {
                "type": "keyword"
            },
            "attributeId": {
                "type": "keyword"
            }
        }
    }
}

编写的过滤脚本（存在问题）：

{
  "script": {
    "script": {
      "params": {
        "isFormatHeight": false,
        "isFormatLength": false,
        "max": 12.5,
        "min": 90
      },
      "source": "def value = doc['attributes.value'].value; def min = params.min; def max = params.max; if (value == 'No Format' || value == 'A Lot') { return true; } try { def floatValue = Float.parseFloat(value.replace(',', '.').trim()); return floatValue >= min && floatValue <= max; } catch (NumberFormatException e) { return false; }"
    }
  }
}

问题表现：设置min=12.5时无法匹配目标文档，min=12.4时可以匹配。

核心原因 #

1. 单精度Float的精度损失：Float.parseFloat("12.5")生成单精度浮点数，而参数中的12.5是双精度Double类型。由于二进制存储的特性，单精度浮点数无法完全精确表示某些十进制小数，直接和Double类型数值比较会出现不相等的情况。
2. Nested类型查询错误：原脚本未使用nested查询包裹，直接访问doc['attributes.value'].value无法正确遍历嵌套数组中的元素，可能导致取值异常。

解决方案 #

方案1：统一使用Double类型转换与比较 #

将脚本中的Float转换改为Double，避免单精度精度问题，同时修正nested查询结构：

{
  "query": {
    "nested": {
      "path": "attributes",
      "query": {
        "script": {
          "params": {
            "max": 12.5,
            "min": 12.5
          },
          "source": """
            def value = doc['attributes.value'].value;
            if (value == 'No Format' || value == 'A Lot') {
              return true;
            }
            try {
              def doubleValue = Double.parseDouble(value.replace(',', '.').trim());
              return doubleValue >= params.min && doubleValue <= params.max;
            } catch (NumberFormatException e) {
              return false;
            }
          """
        }
      }
    }
  }
}

方案2：添加精度容差处理（兼容Float场景） #

如果必须使用Float类型，可通过设置微小的容差值来避免精度比较误差：

{
  "query": {
    "nested": {
      "path": "attributes",
      "query": {
        "script": {
          "params": {
            "max": 12.5,
            "min": 12.5,
            "epsilon": 1e-6
          },
          "source": """
            def value = doc['attributes.value'].value;
            if (value == 'No Format' || value == 'A Lot') {
              return true;
            }
            try {
              def floatValue = Float.parseFloat(value.replace(',', '.').trim());
              // 允许微小的精度误差
              return (Math.abs(floatValue - params.min) <= params.epsilon && Math.abs(floatValue - params.max) <= params.epsilon) 
                      || (floatValue >= params.min && floatValue <= params.max);
            } catch (NumberFormatException e) {
              return false;
            }
          """
        }
      }
    }
  }
}

方案3：预处理数据（最优性能方案） #

在数据写入阶段提前转换数值并存储，避免查询时的脚本计算开销：

1. 修改索引映射，新增数值字段：

{
  "attributes": {
    "type": "nested",
    "properties": {
      "attributeName": {
        "type": "text",
        "analyzer": "custom_analyzer"
      },
      "value": {
        "type": "keyword"
      },
      "attributeId": {
        "type": "keyword"
      },
      "numeric_value": {
        "type": "double"
      }
    }
  }
}

2. 写入数据时，将value替换逗号为点后转为Double存入numeric_value；非数值内容（如"No Format"）可设置为null或标记值。
3. 查询时直接使用范围查询，无需脚本：

{
  "query": {
    "nested": {
      "path": "attributes",
      "query": {
        "bool": {
          "should": [
            {
              "range": {
                "attributes.numeric_value": {
                  "gte": 12.5,
                  "lte": 12.5
                }
              }
            },
            {
              "terms": {
                "attributes.value": ["No Format", "A Lot"]
              }
            }
          ]
        }
      }
    }
  }
}

内容的提问来源于stack exchange，提问作者wiliamvj