fasttext加载预训练.vec词向量时Python崩溃的解决办法

你运行代码时Python直接崩溃的根本原因，是混淆了fasttext的两类文件格式与加载接口的入参要求：fasttext.load_model()仅支持加载二进制格式的.bin模型文件，这个接口的入参只接受本地文件路径的字符串，既不识别纯文本格式的.vec词向量文件，也不接受Python字典类型的入参。你将自定义解析得到的字典直接传给这个接口时，会触发底层C++代码的段错误，最终导致Python进程无报错直接退出。

.vec文件的正确使用逻辑 #

.vec是纯文本导出的预训练词向量文件，仅存储词汇与对应向量的映射关系，不携带fasttext模型的子词哈希、n-gram编码逻辑，无法直接通过fasttext的模型加载接口导入使用，需要根据实际使用场景匹配对应方案：

场景1：仅需查询已收录词汇的向量，不需要未登录词扩展 #

你最初编写的解析函数存在Python3版本兼容问题：Python3中map()返回的是一次性迭代器，存入字典后迭代器会被快速耗尽，后续取值会得到空结果，且纯Python循环的读取效率偏低。可替换为修正后的可运行解析逻辑：

import numpy as np

def load_vec_file(fname):
    vec_dict = {}
    with open(fname, 'r', encoding='utf-8', errors='ignore') as f:
        # 跳过首行的「总词数 向量维度」说明行
        _, vec_dim = map(int, f.readline().strip().split())
        for line in f:
            line_parts = line.strip().split(' ')
            word = line_parts[0]
            # 用numpy存储float32精度的向量，避免内存浪费
            word_vec = np.asarray(line_parts[1:], dtype=np.float32)
            vec_dict[word] = word_vec
    return vec_dict

使用方式：

# 加载文件得到词汇到向量的映射字典
word_vectors = load_vec_file('/Users/username/Downloads/wiki-news-300d-1M.vec')
# 直接查询目标词的向量，例如查询"hello"对应的向量
print(word_vectors['hello'])
# 句子级向量可直接对句子内所有词的向量做平均池化得到

注意：该方式仅能查询.vec文件中已经收录的词汇，遇到未收录的词汇会直接触发KeyError，无法像二进制模型一样通过子词拼接生成未登录词的向量。

场景2：需要保留fasttext的未登录词向量生成能力 #

此时无法直接加载纯文本格式的.vec文件，需要通过fasttext的训练流程，将.vec文件的向量权重注入到新的fasttext模型中，生成可被fasttext.load_model()加载的.bin格式文件。训练时通过指定预训练向量参数的方式完成权重注入，最终生成的模型文件既保留预训练词向量的精度，也支持子词级别的未登录词向量生成。

避坑提示 #

• 只要传入fasttext.load_model()的参数不是本地.bin模型文件的字符串路径，都大概率触发段错误导致Python崩溃，是新手使用fasttext时的高频问题。
• 解析大体积.vec文件时，建议使用float32精度存储向量，相比Python默认的float64可减少一半的内存占用。
• 仅做文本相似度计算、语义特征提取的场景下，用字典存储词向量做平均池化的运行效率，远高于加载完整fasttext二进制模型。

内容的提问来源于stack exchange，提问作者Hansmagnetron