Elasticsearch script_score组件运行时错误排查求助

错误原因 #

1. Nested字段上下文不匹配
   vectors是nested类型字段，而function_score的script_score默认在根文档上下文执行，无法直接访问nested数组中的单个vectors.vector字段——根文档层面的vectors.vector是一个数组集合，cosineSimilarity函数需要单个向量作为输入，类型不匹配导致运行时错误。

2. 潜在的向量维度不匹配（次要排查点）
   如果query_vector的维度与vectors.vector字段定义的维度不一致，cosineSimilarity也会抛出运行时错误。

解决方法 #

方案1：在脚本中遍历筛选目标nested向量 #

修改script_score的脚本逻辑，遍历vectors数组并筛选出type为NLP的向量后再计算相似度：

very_basic_query = {
    "size": 50,
    "query": {
        "function_score": {
            "query": {
                "bool": {
                    "must": [
                        {"terms": {"general.source_application": ["twitter", "telegram"]}}
                    ],
                    "filter": [
                        {
                            "range": {
                                "general.start_time": {
                                    "gte": 0,
                                    "lte": 2200000000000
                                }
                            }
                        },
                        {
                            "nested": {
                                "path": "vectors",
                                "query": {
                                    "bool": {
                                        "must": [
                                            {"exists": {"field": "vectors.vector"}},
                                            {"match": {"vectors.type": "NLP"}}
                                        ]
                                    }
                                }
                            }
                        }
                    ]
                }
            },
            "script_score": {
                "script": {
                    "source": """
def target_vec = null;
for (item in doc['vectors']) {
    if (item.value.type == 'NLP') {
        target_vec = item.value.vector;
        break;
    }
}
return target_vec != null ? (cosineSimilarity(params.query_vector, target_vec) + 1.0) : 0.0;
""",
                    "params": {
                        "query_vector": query_vector
                    }
                }
            }
        }
    }
}

方案2：使用nested函数评分（更高效） #

将评分逻辑放入nested上下文，利用Elasticsearch的nested function_score直接对匹配的nested文档计算评分，再通过score_mode聚合到根文档：

very_basic_query = {
    "size": 50,
    "query": {
        "function_score": {
            "query": {
                "bool": {
                    "must": [
                        {"terms": {"general.source_application": ["twitter", "telegram"]}}
                    ],
                    "filter": [
                        {
                            "range": {
                                "general.start_time": {
                                    "gte": 0,
                                    "lte": 2200000000000
                                }
                            }
                        }
                    ]
                }
            },
            "functions": [
                {
                    "nested": {
                        "path": "vectors",
                        "query": {
                            "bool": {
                                "must": [
                                    {"exists": {"field": "vectors.vector"}},
                                    {"match": {"vectors.type": "NLP"}}
                                ]
                            }
                        },
                        "function_score": {
                            "script_score": {
                                "script": {
                                    "source": "cosineSimilarity(params.query_vector, 'vectors.vector') + 1.0",
                                    "params": {
                                        "query_vector": query_vector
                                    }
                                }
                            }
                        }
                    },
                    "score_mode": "max" # 可选值：max/avg/sum，根据业务需求选择评分聚合方式
                }
            ]
        }
    }
}

额外排查项 #

• 确认query_vector的维度与vectors.vector字段的维度完全一致；
• 检查Elasticsearch版本是否支持cosineSimilarity函数（5.x+版本支持）；
• 确保脚本中使用的字段名与索引映射完全匹配（注意大小写）。

内容的提问来源于stack exchange，提问作者or.cohenadiv