GPT-J Python脚本未找到 如何在Windows命令行使用CPU运行GPT-J

1. "Python Script not found"报错修复 #

该报错的核心原因是GPT-J没有官方全局可执行脚本，部分网传教程提到的直接调用gpt-j命令的操作不存在，所有调用都需要自行编写Python代码实现，修复步骤：

• 确认Python环境变量配置正确，命令行执行python --version能正常返回版本号
• 不要直接执行不存在的gpt-j全局命令，按下方流程编写启动脚本运行

2. 前置环境准备 #

先安装运行所需的所有依赖，命令行执行以下命令：

pip install torch transformers accelerate sentencepiece

依赖说明：

• 自动安装CPU版本PyTorch，无需额外配置CUDA环境
• 所有包均从PyPi官方源拉取，无第三方依赖

3. 代码编写与启动流程 #

3.1 编写启动脚本 #

在任意目录新建Python文件，命名为run_gptj_cpu.py，写入以下代码：

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载GPT-J的分词器和模型，自动下载权重到本地缓存
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-j-6B")
model = AutoModelForCausalLM.from_pretrained(
    "EleutherAI/gpt-j-6B",
    device_map="cpu",  # 指定用CPU运行
    low_cpu_mem_usage=True  # 降低内存占用
)
# GPT-J默认没有pad token，用eos token替代
tokenizer.pad_token = tokenizer.eos_token

# 输入提示词
prompt = "What is artificial intelligence?"
inputs = tokenizer(prompt, return_tensors="pt")

# 生成结果
outputs = model.generate(
    **inputs,
    max_new_tokens=30,  # 生成的最大token数，CPU运行建议先设小值测试
    pad_token_id=tokenizer.eos_token_id
)

# 打印输出结果
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

3.2 命令行启动 #

打开命令提示符，cd到你存放run_gptj_cpu.py的目录，执行以下命令即可启动：

python run_gptj_cpu.py

4. 注意事项 #

• 第一次运行会自动下载约24G的模型权重到本地缓存，需要预留足够的磁盘空间
• CPU运行生成速度较慢，单条生成可能需要数分钟，仅适合功能测试使用
• 如果内存不足，可以改用量化版本的GPT-J模型，修改from_pretrained参数添加load_in_8bit=True即可

内容的提问来源于stack exchange，提问作者Saif Ur Rehman Chughtai