能否仅用ElasticSearch生成关键词匹配的0/1向量？

你可以通过ElasticSearch的**脚本字段（script_fields）**结合Painless脚本直接在查询时生成所需的0/1向量，无需在Python端做大量后处理，效率更高。

实现思路 #

利用Painless脚本遍历你的关键词数组，对每个关键词检查当前文档的text字段是否包含该词，存在则标记为1，否则为0，最终生成对应顺序的向量数组。

示例DSL查询 #

假设你的关键词数组是["javascript", "html", "python"]，对应的查询语句如下：

GET /resumes/_search
{
  "size": 1000, // 根据你的数据量调整，默认返回10条
  "_source": false, // 不需要原始文档内容可关闭，提升性能
  "script_fields": {
    "keyword_vector": {
      "script": {
        "source": """
          def keywords = ['javascript', 'html', 'python'];
          def vector = [];
          def text = doc['text'].value.toLowerCase();
          for (def keyword : keywords) {
            vector.add(text.contains(keyword.toLowerCase()) ? 1 : 0);
          }
          return vector;
        """
      }
    }
  }
}

关键细节说明 #

• 大小写兼容：脚本中把文档内容和关键词统一转成小写，避免因大小写差异导致漏匹配（比如文档里是JavaScript而关键词是javascript的情况）。如果你的场景不需要大小写不敏感，可以去掉.toLowerCase()。
• 性能优化：
  • 关闭_source能减少数据传输量，适合仅需向量结果的场景。
  • 若数据量极大，可先通过filter过滤出包含至少一个关键词的文档，缩小脚本执行范围。
• 结果对应：查询返回的每个hit中，fields.keyword_vector就是目标0/1向量，可通过文档的_id或其他标识关联到具体文档。

扩展：精确匹配完整单词 #

如果需要避免子串误匹配（比如不把pythonic识别为包含python），可以用正则表达式匹配完整单词，修改脚本如下：

"script": {
  "source": """
    def keywords = ['javascript', 'html', 'python'];
    def vector = [];
    def text = doc['text'].value.toLowerCase();
    for (def keyword : keywords) {
      def pattern = /\b/ + keyword.toLowerCase() + /\b/;
      vector.add(text.find(pattern) != null ? 1 : 0);
    }
    return vector;
  """
}

内容的提问来源于stack exchange，提问作者rfdomingues98