Node.js中使用@huggingface/transformers本地模型遇路径错误求助

核心问题分析 #

错误提示././tokenizer.json找不到，本质是Transformers.js无法从你指定的模型目录中正确定位到tokenizer配置文件，大概率是模型未转换为Transformers.js兼容格式或路径解析逻辑出错导致的。

具体解决步骤 #

1. 先将微调模型转换为Transformers.js兼容格式 #

你直接用PyTorch/TensorFlow微调的DistilBERT模型不能直接给Transformers.js使用，必须先转换成它支持的格式：

• 安装转换工具：npm install -g @xenova/transformers-cli
• 执行转换命令（替换为你的模型路径和输出路径）：

  npx @xenova/transformers-cli convert --model ./models/fine_tuned_distilbert_dz --output ./models/fine_tuned_distilbert_dz_js
  

转换完成后，输出目录里会包含tokenizer.json、config.json和.onnx格式的权重文件，这些才是Transformers.js能识别的文件。

2. 用绝对路径指定模型目录 #

不要再依赖env.localModelPath，直接在pipeline初始化时用绝对路径指向转换后的模型文件夹，避免相对路径解析混乱：

const { pipeline, env } = require('@xenova/transformers');
const path = require('path');

// 禁用远程模型加载
env.allowRemoteModels = false;

async function loadLocalModel() {
  // 生成模型文件夹的绝对路径
  const modelPath = path.resolve(__dirname, 'models/fine_tuned_distilbert_dz_js');
  // 打印路径确认是否正确
  console.log('模型绝对路径:', modelPath);

  const classifier = await pipeline('text-classification', {
    model: modelPath,
    local_files_only: true, // 强制只加载本地文件
  });

  // 测试模型
  const result = await classifier('测试文本');
  console.log(result);
}

loadLocalModel();

3. 验证文件结构与权限 #

• 检查转换后的模型文件夹里是否存在tokenizer.json、config.json和.onnx权重文件，缺一不可。
• 确保Node.js进程有读取该文件夹及内部文件的权限（比如Linux/macOS下用chmod -R 755 ./models/fine_tuned_distilbert_dz_js调整权限）。

4. 排查路径解析问题 #

运行代码时先打印modelPath的输出，确认路径是否指向你实际的模型文件夹，比如输出类似/Users/xxx/project/models/fine_tuned_distilbert_dz_js，手动打开这个路径检查文件是否存在。

为什么会出现././tokenizer.json错误？ #

当你用相对路径指定模型目录时，Transformers.js可能会基于当前工作目录（而非脚本所在目录）去解析文件路径，导致出现././这类混乱的路径拼接，用绝对路径可以彻底规避这个问题。

内容的提问来源于stack exchange，提问作者Lina Tydal