在Elasticsearch LTR中纳入分类特征的技术咨询

针对你拥有的100个唯一类别的分类特征，不能直接用field_value_factor（会被当作数值处理），可以通过以下两种方式正确配置：

方式一：使用脚本返回类别原始值（推荐用于支持类别特征的模型） #

通过script_score直接返回分类字段的原始字符串值，后续训练模型时（如XGBoost）可配置为类别特征处理：

{
  "validation": {
    "index": "my-index",
    "params": {
    }
  },
  "featureset": {
    "features": [
      // 已有的两个数值特征
      {
        "name": "feat1",
        "params":[],
        "template": {
          "function_score": {
            "field_value_factor": {
              "field": "feat1",
              "missing":0
            },
            "query": {
              "match_all": {}
            }
          }
        }
      },
      {
        "name": "feat2",
        "template": {
          "function_score": {
            "field_value_factor": {
              "field": "feat2",
              "missing":0
            },
            "query": {
              "match_all": {}
            }
          }
        }
      },
      // 添加分类特征
      {
        "name": "cat_feat",
        "params": [],
        "template": {
          "function_score": {
            "script_score": {
              "script": {
                "source": "doc['cat_field.keyword'].value", // 确保字段是keyword类型
                "lang": "painless"
              }
            },
            "query": {
              "match_all": {}
            }
          }
        }
      }
    ]
  }
}

注意：你的分类字段必须是keyword类型（不能是text），否则无法直接获取原始类别值。

方式二：使用One-hot编码思路（适合不支持类别特征的模型） #

如果你的模型不直接支持类别特征，可以针对高频类别单独创建特征，低频类别归为“其他”：

{
  "validation": {
    "index": "my-index",
    "params": {
    }
  },
  "featureset": {
    "features": [
      // 已有的两个数值特征...
      // 高频类别特征示例
      {
        "name": "cat_feat_category_A",
        "params": [],
        "template": {
          "function_score": {
            "filter": {
              "term": {
                "cat_field.keyword": "category_A"
              }
            },
            "query": {
              "match_all": {}
            },
            "boost": 1.0
          }
        }
      },
      {
        "name": "cat_feat_category_B",
        "params": [],
        "template": {
          "function_score": {
            "filter": {
              "term": {
                "cat_field.keyword": "category_B"
              }
            },
            "query": {
              "match_all": {}
            },
            "boost": 1.0
          }
        }
      },
      // 低频类别统一特征
      {
        "name": "cat_feat_other",
        "params": [],
        "template": {
          "function_score": {
            "filter": {
              "bool": {
                "must_not": [
                  {"term": {"cat_field.keyword": "category_A"}},
                  {"term": {"cat_field.keyword": "category_B"}}
                  // 继续添加其他高频类别
                ]
              }
            },
            "query": {
              "match_all": {}
            },
            "boost": 1.0
          }
        }
      }
    ]
  }
}

这种方式适合类别数量虽多但大部分是低频类别的场景，避免创建100个特征导致特征集过于庞大。

内容的提问来源于stack exchange，提问作者Meghana S