Magento 2中Smile_Elasticsuite的standard_edge_ngram分词器问题

问题现象 #

商品名称为"Rotational"，配置使用standard_edge_ngram分词器（min_gram=3，max_gram=20），预期搜索rot、rota、rotat、rotati、rotatio、rotation、rotationa、rotational都能命中该商品，但实际仅rot、rota、rotat、rotational有效，中间几个子串无法匹配。后台分词测试显示，处理"Rotational"时部分token缺失，而处理去掉末尾l的"Rotationa"时token生成正常。

原因分析 #

这种异常通常由分词器的组成逻辑或配置参数问题导致：

• 默认standard_edge_ngram分词器可能未正确包含小写转换步骤，或在生成ngram时存在截断异常；
• 若自定义分词器时filter顺序错误（比如先生成ngram再转小写），会导致大小写不匹配；
• 部分版本中默认分词器的edge_ngram filter可能存在前缀生成逻辑缺陷。

解决方案 #

1. 自定义可靠的edge_ngram分词器 #

放弃使用默认的standard_edge_ngram，手动组合分词器组件，确保逻辑正确：

{
  "settings": {
    "analysis": {
      "analyzer": {
        "product_name_analyzer": {
          "tokenizer": "standard",
          "filter": ["lowercase", "product_edge_ngram"]
        }
      },
      "filter": {
        "product_edge_ngram": {
          "type": "edge_ngram",
          "min_gram": 3,
          "max_gram": 20,
          "side": "front"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "product_name_analyzer"
      }
    }
  }
}

2. 关键配置说明 #

• filter顺序：先执行lowercase将所有字符转为小写，再生成edge_ngram，避免搜索词（小写）与索引token（大写前缀）不匹配；
• 显式设置side：指定side: "front"确保从字符串开头生成前缀ngram，符合你的搜索需求；
• 独立filter：将edge_ngram filter单独定义，便于排查和调整参数。

3. 验证与生效 #

• 使用分析API验证分词结果：

GET /_analyze
{
  "analyzer": "product_name_analyzer",
  "text": "Rotational"
}

正常情况下应生成以下token：rot, rota, rotat, rotati, rotatio, rotation, rotationa, rotational。

• 重新创建索引并导入商品数据，确保新的分词规则生效。

内容的提问来源于stack exchange，提问作者Denis2310