如何在C#中调用HuggingFace MT5分词器处理CJK语言？

方案1：使用Microsoft.ML.Tokenizers原生库 #

Microsoft.ML.Tokenizers是微软维护的NuGet包，原生支持T5/MT5系列分词器，完全兼容HuggingFace的MT5预训练模型（包括针对CJK优化的版本），是首选方案。

• 操作步骤：
  1. 安装NuGet包：

     Install-Package Microsoft.ML.Tokenizers
     

  2. 加载MT5分词器：

     using Microsoft.ML.Tokenizers;
     
     // 从本地HuggingFace格式的分词器文件加载（vocab.json、merges.txt）
     var tokenizer = Tokenizer.CreateT5Tokenizer("本地词表路径", "本地合并规则路径");
     // 或直接通过预训练模型名称自动加载（需联网）
     // var tokenizer = Tokenizer.FromPretrained("google/mt5-small", TokenizerKind.T5);
     

  3. 处理CJK文本分词：

     string cjkText = "这是一段中文测试文本";
     var encodeResult = tokenizer.Encode(cjkText);
     // 获取分词结果
     var tokens = encodeResult.Tokens;
     var tokenIds = encodeResult.Ids;
     

• 优势：纯C#实现，性能优异，无需依赖其他语言环境，完全对齐HuggingFace的MT5分词逻辑。

方案2：跨进程调用Python版HuggingFace Transformers #

如果需要使用自定义微调的CJK MT5模型，或依赖Transformers库的特定功能，可通过C#启动Python进程调用官方库完成分词。

• 操作步骤：
  1. 编写Python分词脚本mt5_tokenizer.py：

     from transformers import MT5Tokenizer
     import sys
     import json
     
     def tokenize(text):
         # 替换为你需要的CJK适配MT5模型ID
         tokenizer = MT5Tokenizer.from_pretrained("google/mt5-small")
         inputs = tokenizer(text)
         return {
             "tokens": tokenizer.convert_ids_to_tokens(inputs["input_ids"]),
             "ids": inputs["input_ids"]
         }
     
     if __name__ == "__main__":
         target_text = sys.argv[1]
         result = tokenize(target_text)
         print(json.dumps(result))
     

  2. C#中调用脚本：

     using System.Diagnostics;
     using System.Text.Json;
     
     string cjkText = "这是一段中文测试文本";
     var process = new Process
     {
         StartInfo = new ProcessStartInfo
         {
             FileName = "python",
             Arguments = $"mt5_tokenizer.py \"{cjkText}\"",
             RedirectStandardOutput = true,
             UseShellExecute = false,
             CreateNoWindow = true
         }
     };
     process.Start();
     string output = process.StandardOutput.ReadToEnd();
     process.WaitForExit();
     
     // 解析结果
     var tokenResult = JsonSerializer.Deserialize<TokenResult>(output);
     
     public class TokenResult
     {
         public List<string> Tokens { get; set; }
         public List<int> Ids { get; set; }
     }
     

• 优势：可直接复用HuggingFace生态的所有MT5功能；缺点是存在跨进程开销，性能略低，需配置Python环境。

方案3：基于ONNX Runtime加载导出的分词器 #

将HuggingFace的MT5分词器导出为ONNX格式，通过C#的ONNX Runtime库调用，适合跨平台部署场景。

• 操作步骤：
  1. 使用HuggingFace的transformers.onnx工具将MT5分词器导出为ONNX模型；
  2. 安装Microsoft.ML.OnnxRuntime NuGet包：

     Install-Package Microsoft.ML.OnnxRuntime
     

  3. 在C#中加载并调用：

     using Microsoft.ML.OnnxRuntime;
     using Microsoft.ML.OnnxRuntime.Tensors;
     
     var session = new InferenceSession("mt5-tokenizer.onnx");
     var inputTensor = new DenseTensor<string>(new[] { "这是一段中文测试文本" }, new[] { 1 });
     var inputs = new List<NamedOnnxValue>
     {
         NamedOnnxValue.CreateFromTensor("input", inputTensor)
     };
     using var outputs = session.Run(inputs);
     var tokenIds = outputs.First().AsTensor<int>().ToList();
     // 结合本地词表转换为可读tokens
     

• 优势：跨平台兼容性好，性能接近原生；缺点是导出过程繁琐，对自定义模型支持有限。

内容的提问来源于stack exchange，提问作者exteral