为何NLTK.word_tokenize会将俚语gotta拆分为got和ta？

问题重现 #

执行代码：

import nltk
word_data = 'Why you gotta be so rude'
nltk_tokens = nltk.word_tokenize(word_data)
print(nltk_tokens)

输出结果：

['Why', 'you', 'got', 'ta', 'be', 'so', 'rude']

原因解析 #

• NLTK的word_tokenize()默认采用Penn Treebank分词规范，这套规则专门针对英语缩约形式做拆分处理。
• "gotta"是口语中"got to"的非正式缩约变体，在Treebank规则里，这类口语化缩约会被拆分为对应的核心动词和弱化的助词部分——"got"对应原短语里的动词，"ta"则是"to"在口语中弱化发音的分词结果。
• 这套规则的设计目的是让分词结果更贴近语法层面的语义单元，方便后续句法分析、词性标注等NLP任务，即使处理口语化文本，也会优先遵循语法拆分逻辑。

内容的提问来源于stack exchange，提问作者raghav