关于Elasticsearch Kuromoji分词器用户词典格式的技术疑问

我之前在配置Kuromoji处理日文文本时也踩过这些坑，现在给你逐个拆解清楚：

1. 为什么「スカイツリー」没有被拆分成「スカイ」和「ツリー」？ #

用户词典的第二个字段是你强制指定的最终分词结果，空格的作用是分隔你想要的每个独立token，而不是让Kuromoji再对这些token做二次拆分。

比如示例里的「東京 スカイツリー」，意思就是告诉分词器：把「東京スカイツリー」这个完整短语拆成两个固定token——「東京」和「スカイツリー」，不需要再拆分「スカイツリー」。如果你希望拆成三个token，只需要把第二个字段写成「東京 スカイ ツリー」，分词器就会严格按照这个拆分逻辑执行。

2. 读音字段的拆分逻辑，以及能否指定多种读音？ #

• 拆分逻辑：读音字段的空格必须和第二个字段的token一一对应。比如第二个字段是東京 スカイツリー（2个token），读音字段就要是トウキョウ スカイツリー（2个对应读音），每个读音对应前面的一个token。
• 多种读音的处理：Kuromoji的用户词典不支持在单个条目里指定多种读音。如果需要同一个词有不同的读音形式，你需要添加多条独立的用户词典条目。比如：

  東京スカイツリー,東京 スカイツリー,トウキョウ スカイツリー,カスタム名詞
  東京スカイツリー,東京 スカイツリー,トーキョー スカイツリー,カスタム名詞
  

  这样分词器在处理时会匹配到对应的读音（实际使用中可能需要测试优先级，确保符合你的预期）。

3. 词性标签的规则、可选值及影响 #

词性字段需要遵循MeCab-IPADIC词典的词性体系，这里给你梳理关键信息：

• 「カスタム名詞」vs「名詞」：「カスタム名詞」是Kuromoji特有的自定义类别，用来标记用户添加的名词，和默认词典里的「名詞」做区分；而「名詞」是标准的MeCab词性，属于通用名词类别。
• 可选词性值：所有MeCab-IPADIC支持的词性都可以用，比如動詞、形容詞、副詞、名詞,一般、動詞,自立,一段等（可以写简化形式，比如直接写動詞，也可以写完整的层级分类）。
• 对分词器的影响：
  • 词性会影响后续的分析处理，比如动词会被自动还原成原形（比如「食べる」→「食べ」），而名词不会；
  • 在搜索阶段，词性可以用来做针对性的规则配置，比如只对名词应用同义词过滤器，或者过滤掉特定词性的token；
  • 使用「カスタム名詞」可以方便你在分析链中单独处理用户自定义的词汇，比如添加专属的过滤器。

内容的提问来源于stack exchange，提问作者czeczek