You need to enable JavaScript to run this app. AllenNLP中Transformer QA模型阅读理解任务的最大Passage与硬件限制是多少
优惠活动
大模型
产品
解决方案
定价
更多

AllenNLP中Transformer QA模型阅读理解任务的最大Passage与硬件限制是多少

AllenNLP Transformer QA 预训练模型内存报错相关说明

DefaultCPUAllocator: not enough memory: you tried to allocate 23437770752 bytes. Buy new RAM!

上述报错为输入序列过长导致的内存溢出,相关参数和要求如下:

最大passage长度限制

该2020-10-03发布版本的Transformer QA模型基于BERT架构训练,默认输入序列(question+passage拼接后)的最大token长度为384。扣除question本身占用的1060个token后,单passage的最大有效长度为*320370个token*。
输入的passage超过该长度且未做截断时,模型注意力层计算会生成超大矩阵,直接触发GB级的内存申请,导致报错。

对应硬件要求

  • 单样本CPU预测场景:严格遵守序列长度限制的前提下,仅需4GB以上可用内存即可正常运行;批量预测时每新增1条并发样本,需额外预留1~2GB可用内存。
  • 单样本GPU预测场景:仅需2GB以上显存的英伟达GPU即可运行,8样本批量预测需要6GB以上显存。

快速修复方案

调用Predictor.from_path()加载模型、predict()方法执行预测前,先对输入的passage做分词截断,确保拼接question后的总token数不超过384即可解决内存报错。如需处理超长文档,可采用滑动窗口拆分passage为多段,分别预测后合并结果。

内容的提问来源于stack exchange,提问作者Aasif Multani

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 00:45:03