Elastic Search导入零向量报错：cosine相似度不支持零模向量求助

错误原因 #

报错信息已经说得很明确：cosine相似度不支持模长为0的向量。这是因为余弦相似度的计算公式是两个向量的点积除以各自模长的乘积，零向量的模长为0，会触发数学上的除以零错误，所以Elasticsearch会直接拦截这类数据——这不是单纯的存储问题，是向量字段的相似度类型带来的校验限制。

解决思路 #

• 预处理数据，替换/过滤零向量
  要么把所有全零向量替换成每个维度都是极小值（比如1e-9）的非零向量，这样既不会影响后续的检索结果，又能绕过校验；如果这些全零向量的文档对业务没价值，直接过滤掉也行。

• 修改向量字段的相似度类型
  如果业务场景允许，把向量字段的相似度从cosine改成l2_norm或者dot_product（dot_product支持零向量，计算结果为0）。修改索引映射的命令如下：

  PUT /bdp-cus-feature-store-1.1-vector-p1/_mapping
  {
    "properties": {
      "你的向量字段名": {
        "type": "dense_vector",
        "dims": 你的向量维度数,
        "similarity": "l2_norm"
      }
    }
  }
  

  注意：修改映射后需要重新索引现有数据，因为原数据是基于旧的相似度类型存储的。

• 用Ingest Pipeline自动处理零向量
  创建一个摄入管道，在数据导入Elasticsearch前自动检测并替换零向量：

  PUT _ingest/pipeline/replace_zero_vector
  {
    "processors": [
      {
        "script": {
          "source": """
            def vec = ctx.你的向量字段名;
            boolean isZero = true;
            for (double d : vec) {
              if (d != 0.0) {
                isZero = false;
                break;
              }
            }
            if (isZero) {
              ctx.你的向量字段名 = Collections.nCopies(vec.size(), 1e-9);
            }
          """
        }
      }
    ]
  }
  

  导入数据时指定这个管道即可：

  PUT /bdp-cus-feature-store-1.1-vector-p1/_doc/你的文档ID?pipeline=replace_zero_vector
  

内容的提问来源于stack exchange，提问作者user16971617