You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

在Gensim训练Word2Vec模型时,日志中的‘word types’指什么?

关于Gensim Word2Vec日志中word types的含义疑问

我正在使用Gensim训练一个大型word2vec模型,并通过日志跟踪训练进程。日志显示:

PROGRESS: at sentence #3060000, processed 267654284 words, keeping 940042 word types

请问这些word types具体指什么?是数据中2亿+分词里的唯一单词吗?我在官方文档中未找到相关说明。


word types指的是经过低频过滤后,语料中保留的唯一词汇集合,和你理解的“2亿+分词里的唯一单词”核心一致,但有个关键细节:

  • 它不是原始语料里所有的唯一词,而是Gensim根据min_count参数(默认值为5)过滤后的结果——所有出现次数低于该阈值的词汇会被剔除,不会进入后续的向量训练,最终留下的词汇总数就是日志里的keeping 940042 word types。
  • 简单来说,这个数字代表当前模型实际会处理、生成向量的唯一词汇数量,是去重且经过低频过滤后的结果。

内容的提问来源于stack exchange,提问作者ℕʘʘḆḽḘ

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.10 06:47:33