下载gensim glove-wiki-gigaword-100数据集时遇ValueError求助
解决Gensim加载glove-wiki-gigaword-100时的ValueError问题
我来帮你排查这个问题,根据你描述的情况,这个错误大概率是本地gensim缓存目录的文件损坏或者权限问题导致的,试试下面几个解决方案:
删除损坏的缓存目录,重新下载
你的报错提示无法读取/Users/xxx/gensim-data/information.json,说明这个缓存文件已经损坏或者缺失。直接删除整个gensim-data缓存文件夹,让Gensim重新下载生成新的缓存和数据集:- 在终端执行命令:
rm -rf /Users/xxx/gensim-data/ - 重新运行你的加载代码:
import gensim.downloader as api model = api.load("glove-wiki-gigaword-100")
- 在终端执行命令:
手动下载数据集并本地加载
如果自动下载还是有问题,可以绕过Gensim的自动下载机制,手动处理:- 找到glove-wiki-gigaword-100的文本格式文件(通常是
.txt或.gz压缩包) - 将文件解压后,用Gensim的
KeyedVectors直接加载本地文件:from gensim.models import KeyedVectors # 替换为你本地文件的实际路径 model = KeyedVectors.load_word2vec_format('/your/local/path/glove-wiki-gigaword-100.txt', binary=False, no_header=True)
注:GloVe格式的文件默认没有词向量的头部信息,所以需要加上
no_header=True参数;如果Gensim 3.8.3版本不支持该参数,可以尝试手动给文件添加头部行:格式为总词数 维度数,比如这个数据集可以加一行400000 100在文件开头。- 找到glove-wiki-gigaword-100的文本格式文件(通常是
检查缓存目录的权限
确保当前用户对/Users/xxx/gensim-data/目录有读写权限,在终端执行命令调整权限:chmod -R 755 /Users/xxx/gensim-data/升级Gensim版本
你当前使用的Gensim 3.8.3版本比较老旧,可能存在缓存管理的bug。尝试升级到最新稳定版:pip3 install --upgrade gensim升级完成后再重新运行加载代码。
内容的提问来源于stack exchange,提问作者llamaro25
相关产品推荐
相关产品推荐

