CHECKCOMPOUNDPATTERN规则数量上限疑问及批量添加后异常排查
HunSpell CHECKCOMPOUNDPATTERN规则数量限制疑问
我有一套可正常运行的词缀文件(aff)和词典文件(dic):
词缀文件sa_IN.aff内容:
cat sa_IN.aff SET UTF-8 COMPOUNDFLAG X MAXCPDSUGS 0 CHECKCOMPOUNDPATTERN 1 CHECKCOMPOUNDPATTERN त् अ द
词典文件sa_IN.dic内容:
cat sa_IN.dic 2 आश्रयेत्/X अस्मान्/X
此时调用spellchecker.spell('आश्रयेदस्मान्')会判定该词正确。但当我为CHECKCOMPOUNDPATTERN添加更多规则后,同一个词会被标记为错误。请问CHECKCOMPOUNDPATTERN是否存在规则数量限制?最多允许添加多少条规则?
更新测试结果
当仅读取前31452条CHECKCOMPOUNDPATTERN规则时,spellchecker.spell('अस्मानाश्रयेत्')和spellchecker.spell('आश्रयेदस्मान्')均返回True;但再添加1000条规则(总数量为32452条)后,这两个词均返回False。这是否意味着31000到32000条规则之间存在阈值或潜在问题?
测试用Python代码:
import hunspell spellchecker = hunspell.HunSpell( "./sa_IN.dic", "./sa_IN.aff", ) spellchecker.spell('अस्मानाश्रयेत्')
内容的提问来源于stack exchange,提问作者shantanuo
相关产品推荐
相关产品推荐

