在Gensim训练Word2Vec模型时,日志中的‘word types’指什么?
关于Gensim Word2Vec日志中
word types的含义疑问 我正在使用Gensim训练一个大型word2vec模型,并通过日志跟踪训练进程。日志显示:
PROGRESS: at sentence #3060000, processed 267654284 words, keeping 940042 word types
请问这些word types具体指什么?是数据中2亿+分词里的唯一单词吗?我在官方文档中未找到相关说明。
word types指的是经过低频过滤后,语料中保留的唯一词汇集合,和你理解的“2亿+分词里的唯一单词”核心一致,但有个关键细节:
- 它不是原始语料里所有的唯一词,而是Gensim根据
min_count参数(默认值为5)过滤后的结果——所有出现次数低于该阈值的词汇会被剔除,不会进入后续的向量训练,最终留下的词汇总数就是日志里的keeping 940042 word types。 - 简单来说,这个数字代表当前模型实际会处理、生成向量的唯一词汇数量,是去重且经过低频过滤后的结果。
内容的提问来源于stack exchange,提问作者ℕʘʘḆḽḘ
相关产品推荐
相关产品推荐

