使用Gensim加载GloVe词嵌入遇Scipy.linalg.triu缺失问题求助

一、解决Gensim与Scipy版本兼容问题 #

你遇到的scipy.linalg.triu找不到的问题，核心是Gensim、Scipy和Python版本不匹配导致的。之前的降级和源码修改方案未起效，是因为版本组合错误或修改引发了新的依赖冲突。

可行的版本组合方案 #

如果坚持用Gensim导入GloVe，推荐使用Gensim 4.3.2 + Scipy 1.11.4 + Python 3.10的组合：

1. 先卸载冲突包：

   pip uninstall -y gensim scipy
   

2. 指定版本重新安装：

   pip install gensim==4.3.2 scipy==1.11.4
   

该组合经过验证，既不会出现triu函数缺失问题，也能适配Python 3.10环境。

源码修复的正确方式（不推荐） #

若一定要修改源码解决，需先处理编译扩展问题：

1. 安装Cython和C编译器（Windows可安装Visual Studio Build Tools，勾选C++开发组件）；
2. 修改site-packages/gensim/matutils.py中的导入语句：

   # 替换原from scipy.linalg import triu
   from numpy import triu
   

3. 重新编译Gensim扩展：

   cd path/to/your/python/site-packages/gensim
   python setup.py build_ext --inplace
   

注意：此方法维护成本高，Gensim版本更新后修改会失效，优先推荐版本组合方案。

二、其他导入GloVe词嵌入的方法 #

除Gensim外，还有更稳定、无版本依赖的导入方式：

方法1：手动加载纯文本格式的GloVe文件 #

GloVe词嵌入以纯文本存储（每行格式为单词 + 空格分隔的向量值），可直接用Python读取：

import numpy as np

def load_glove(glove_path, embedding_dim):
    embeddings = {}
    with open(glove_path, encoding='utf-8') as f:
        for line in f:
            word, vec_str = line.split(maxsplit=1)
            vec = np.fromstring(vec_str, 'f', sep=' ')
            if len(vec) == embedding_dim:
                embeddings[word] = vec
    return embeddings

# 使用示例
glove_vecs = load_glove('glove.6B.100d.txt', 100)

优点：完全可控，无第三方库版本限制，适合快速导入。

方法2：用TensorFlow/Keras内置工具加载 #

如果你的情感分析模型基于TensorFlow/Keras，可直接结合框架工具加载：

import numpy as np
from tensorflow.keras.utils import get_file
from tensorflow.keras.preprocessing.text import Tokenizer

# 下载并解压GloVe
glove_zip = get_file('glove.6B.zip', 'http://nlp.stanford.edu/data/glove.6B.zip', extract=True)
glove_path = glove_zip.replace('.zip', '.100d.txt')

# 加载词嵌入字典
embeddings_index = {}
with open(glove_path, encoding='utf-8') as f:
    for line in f:
        word, vec_str = line.split(maxsplit=1)
        embeddings_index[word] = np.fromstring(vec_str, 'f', sep=' ')

# 构建适配模型的嵌入矩阵（需先拟合Tokenizer）
tokenizer = Tokenizer(num_words=10000)
# 此处省略tokenizer拟合文本的代码

embedding_matrix = np.zeros((len(tokenizer.word_index)+1, 100))
for word, idx in tokenizer.word_index.items():
    vec = embeddings_index.get(word)
    if vec is not None:
        embedding_matrix[idx] = vec

优点：与深度学习框架无缝衔接，可直接用于模型嵌入层构建。

三、关于博客方法的优劣判断 #

如果博客提到的方法是手动加载或框架内置工具这类，通常比Gensim方法更优：

• 避免了Gensim与Scipy的版本兼容陷阱；
• 代码简洁，无需额外学习Gensim API；
• 灵活性更高，可按需过滤、处理词向量（比如只保留训练数据中出现的单词，减少内存占用）。
  若博客方法仍基于Gensim，则本质和你原问题一致，仍会存在版本兼容问题，不推荐使用。

内容的提问来源于stack exchange，提问作者Mel7