如何向fugashi分词器的内置词典添加未收录的自定义新词?
fugashi添加自定义术语操作指南
前置准备
你需要提前安装mecab的编译工具:
- Debian/Ubuntu系统:运行
sudo apt install mecab libmecab-dev - macOS系统:运行
brew install mecab - Windows系统:安装mecab官方二进制发行包
具体操作步骤
1. 编写自定义词汇CSV文件
自定义词汇遵循mecab词典的CSV格式,标准字段为:表層形,左文脈ID,右文脈ID,コスト,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音
针对你的需求,添加「ユーチューブ」的配置行如下:
ユーチューブ,1293,1293,100,名詞,一般,*,*,*,*,ユーチューブ,ユーチューブ,ユーチューブ
字段说明:
- 1293是IPAdic中普通名词的通用上下文ID,如果你使用UniDic需替换为对应ID
- 100是匹配成本,值越低优先级越高,若后续仍出现拆分可下调该值
将上述内容保存为custom_terms.csv,编码选择UTF-8。
2. 编译生成自定义词典
首先查询当前使用的系统词典路径:
运行命令 mecab-config --dicdir,通常IPAdic的路径为/var/lib/mecab/dic/ipadic-utf8。
执行编译命令:
mecab-dict-index -d [你的系统词典路径] -u custom.dic -f utf-8 -t utf-8 custom_terms.csv
运行完成后会在当前目录生成custom.dic文件。
3. 代码中加载自定义词典
初始化fugashi的Tagger时通过-u参数指定自定义词典路径即可,修改后的测试代码如下:
import fugashi # 替换为你自己的custom.dic文件的实际路径 tagger = fugashi.Tagger('-u ./custom.dic') nodes = tagger.parseToNodeList("ユーチューブ") goodpos = ['名詞'] nodes = [nn.surface for nn in nodes if nn.feature.pos1 in goodpos] print(nodes)
运行后输出结果为['ユーチューブ'],符合需求。
补充说明
- 多个自定义词汇可以添加到同一个CSV文件中,每行一个,一次性完成编译
- 如需全局生效,可将
userdic = [custom.dic路径]添加到mecab的配置文件mecabrc中,无需每次在代码中指定参数
内容的提问来源于stack exchange,提问作者Penguin_.
相关产品推荐
相关产品推荐

