You need to enable JavaScript to run this app. 如何向fugashi分词器的内置词典添加未收录的自定义新词?
优惠活动
大模型
产品
解决方案
定价
更多

如何向fugashi分词器的内置词典添加未收录的自定义新词?

fugashi添加自定义术语操作指南

前置准备

你需要提前安装mecab的编译工具:

  • Debian/Ubuntu系统:运行 sudo apt install mecab libmecab-dev
  • macOS系统:运行 brew install mecab
  • Windows系统:安装mecab官方二进制发行包

具体操作步骤

1. 编写自定义词汇CSV文件

自定义词汇遵循mecab词典的CSV格式,标准字段为:
表層形,左文脈ID,右文脈ID,コスト,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音
针对你的需求,添加「ユーチューブ」的配置行如下:

ユーチューブ,1293,1293,100,名詞,一般,*,*,*,*,ユーチューブ,ユーチューブ,ユーチューブ

字段说明:

  • 1293是IPAdic中普通名词的通用上下文ID,如果你使用UniDic需替换为对应ID
  • 100是匹配成本,值越低优先级越高,若后续仍出现拆分可下调该值
    将上述内容保存为custom_terms.csv,编码选择UTF-8。

2. 编译生成自定义词典

首先查询当前使用的系统词典路径:
运行命令 mecab-config --dicdir,通常IPAdic的路径为/var/lib/mecab/dic/ipadic-utf8。
执行编译命令:

mecab-dict-index -d [你的系统词典路径] -u custom.dic -f utf-8 -t utf-8 custom_terms.csv

运行完成后会在当前目录生成custom.dic文件。

3. 代码中加载自定义词典

初始化fugashi的Tagger时通过-u参数指定自定义词典路径即可,修改后的测试代码如下:

import fugashi
# 替换为你自己的custom.dic文件的实际路径
tagger = fugashi.Tagger('-u ./custom.dic')
nodes = tagger.parseToNodeList("ユーチューブ")
goodpos = ['名詞']
nodes = [nn.surface for nn in nodes if nn.feature.pos1 in goodpos]
print(nodes)

运行后输出结果为['ユーチューブ'],符合需求。

补充说明

  • 多个自定义词汇可以添加到同一个CSV文件中,每行一个,一次性完成编译
  • 如需全局生效,可将userdic = [custom.dic路径]添加到mecab的配置文件mecabrc中,无需每次在代码中指定参数

内容的提问来源于stack exchange,提问作者Penguin_.

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.21 01:27:04