fasttext官方预训练模型更新频率及现有版本数据时效咨询
fastText官方预训练模型更新与训练数据相关答复
- 关于模型更新频率:fastText官方没有设置固定的预训练模型定期更新机制,也从未公开过对应的更新排期。从项目历史发布记录来看,目前公开可下载的这批预训练向量是项目早期配套上线的基准资源,官方后续没有公布过跟进最新Common Crawl、Wikipedia语料迭代预训练模型的计划,自这批资源上线后多年,官方也从未推出过基于更新语料训练的同规格官方预训练包。
- 关于现有模型的训练数据时间:当前开放下载的官方预训练模型分为两类,对应训练语料的时间节点明确:
- 基于Wikipedia训练的多语言词向量:使用2017年抓取的Wikipedia全语言静态快照训练,未纳入2017年之后Wikipedia新增、修订的内容,截至2024年,这批训练数据距今已有7年左右。
- 基于Common Crawl训练的多语言词向量:使用Common Crawl项目2016年公开的快照子集训练,语料实际抓取时间集中在2015-2016年区间,截至2024年,这批训练数据距今已有8-9年。
如果你需要用到基于更新版本Common Crawl、Wikipedia语料训练的fastText架构词向量,目前仅能找到第三方社区自行训练发布的非官方版本,官方渠道暂未提供对应更新资源。
内容的提问来源于stack exchange,提问作者user19350538
相关产品推荐
相关产品推荐

