运行GPT-2模型实例时transformers.pipelines导入失败求助

问题根源 #

核心错误是numpy版本与TensorFlow编译依赖的API版本不匹配：

• 报错提示module compiled against API version 0xe but this version of numpy is 0xd，其中0xe对应numpy 1.22+版本，0xd对应numpy 1.21及以下版本
• 版本不兼容导致numpy.core.multiarray无法导入，进而引发transformers模块加载失败

解决方案 #

1. 升级numpy到兼容版本 #

根据你的TensorFlow 2.9.1版本，需要安装numpy 1.22.x及以上版本：

• 使用pip升级：

  pip install --upgrade numpy
  

• 如果是conda环境，执行：

  conda install -c conda-forge numpy --upgrade
  

2. 验证依赖修复 #

安装完成后，先确认numpy版本符合要求：

import numpy
print(numpy.__version__)  # 输出应为1.22.x或更高

再验证TensorFlow和transformers可以正常导入：

import tensorflow as tf
from transformers import pipeline, set_seed

# 初始化GPT-2生成器
generator = pipeline('text-generation', model='gpt2')
set_seed(42)

3. 修正后续代码的语法错误 #

你的query函数存在语法问题（最后一行缺少闭合括号），同时num_return_sequences=3000会导致内存溢出，建议调整为合理数值：

def query(payload, multiple, min_tokens, max_tokens):
    list_dict = generator(payload, min_length=min_tokens, max_new_tokens=max_tokens, num_return_sequences=multiple)
    return [d['generated_text'].split(payload)[1].strip() for d in list_dict]  # 补全闭合括号

# 调整num_return_sequences为合理值，比如3
output = query("Banking customer's needs:", 3, 50, 50)

内容的提问来源于stack exchange，提问作者DanielBell99