使用Gensim加载FastText预训练模型遇OOV及解码、内存问题求助

一、fasttext-wiki-news-subwords-300无法处理OOV词的问题 #

通过gensim.downloader加载的fasttext-wiki-news-subwords-300本质是预训练词向量文件（.vec格式）的封装，并非完整的FastText模型（.bin格式）。这类预训练词向量仅包含训练语料中出现过的词的向量，未保存字符级n-gram信息，因此无法为OOV词生成向量，调用时会触发KeyError。若需处理OOV词，必须加载包含完整模型结构的.bin格式文件。

二、加载.bin文件时的Unicode解码错误与内存问题 #

1. Unicode解码错误解决 #

Windows系统下加载FastText的.bin文件易因编码问题触发Unicode错误，可通过指定encoding='utf-8'参数解决：

from gensim.models import FastText as ft
fasttext_model = ft.load_fasttext_format('path/crawl-300d-2M-subword/crawl-300d-2M-subword.bin', encoding='utf-8')

2. 内存不足问题 #

升级RAM确实能缓解内存压力，但也可结合以下优化手段：

• 启用内存映射：使用mmap='r'参数，让模型数据从磁盘按需加载，减少内存占用：

  fasttext_model = ft.load_fasttext_format('path/crawl-300d-2M-subword/crawl-300d-2M-subword.bin', encoding='utf-8', mmap='r')
  

• 选择轻量模型：若不需要2M级词汇量，可选用更小的预训练模型（如wiki-news-300d-1M-subword.bin），内存占用会大幅降低。
• 手动清理内存：加载模型前，通过gc.collect()清理Jupyter环境中闲置的变量和缓存：

  import gc
  gc.collect()
  

内容的提问来源于stack exchange，提问作者D. Zammit