基于ML.NET的下一词预测问题求助：输出优化及相关词匹配

问题1：预测仅输出二元选项，无概率候选词 #

原因分析 #

原代码误用了二元分类训练器（AveragedPerceptron），但下一词预测属于多分类任务（候选词是多个可能的词汇），二元分类只能输出0/1两类结果，无法满足多候选词+概率的需求。

解决方法 #

1. 替换为多分类训练器（如SdcaMaximumEntropy），适配多类别预测场景。
2. 修改预测类，添加概率数组和标签ID字段，用于获取所有候选词的概率值。
3. 训练时保留标签与原始词汇的映射关系，预测时将ID还原为真实词汇，并按概率排序输出候选词。

问题2：无法关联词形相关词（work/worked/working） #

原因分析 #

原代码仅做了分词和键映射，未对词汇做词形归一化处理，导致不同词形的同源词被视为完全独立的词汇，模型无法识别它们的关联性。

解决方法 #

在预处理 pipeline 中添加词干提取（Stemming），将不同词形的词汇转换为统一词根（如worked→work、working→work），让模型学习到同源词的关联特征。ML.NET提供了Stem转换方法实现这一功能。

完整修正代码 #

using Microsoft.ML;
using Microsoft.ML.Data;
using System;
using System.Linq;

namespace Test_intelesence
{
    internal class Program
    {
        static void Main(string[] args)
        {
            var mlContext = new MLContext(seed: 1); // 设置随机种子保证可复现

            // 1. 加载训练数据（Data.txt每行格式：上下文文本,下一个词）
            // 示例Data.txt内容：
            // I want to go,work
            // I worked yesterday,hard
            // She is working,on
            // He will work,tomorrow
            var dataView = mlContext.Data.LoadFromTextFile<TextData>("Data.txt", separatorChar: ',');

            // 2. 定义预处理Pipeline：分词→词干提取→映射键→特征化→标签映射
            var pipeline = mlContext.Transforms.Text.TokenizeIntoWords("Tokens", nameof(TextData.Context))
                .Append(mlContext.Transforms.Text.Stem("StemmedTokens", "Tokens")) // 词干提取，归一化词形
                .Append(mlContext.Transforms.Conversion.MapValueToKey("Label", nameof(TextData.NextWord))) // 标签映射为ID
                .Append(mlContext.Transforms.Text.FeaturizeText("Features", "StemmedTokens")) // 特征化（包含n-gram等）
                .AppendCacheCheckpoint(mlContext); // 缓存优化训练速度

            // 3. 训练多分类模型
            var trainer = mlContext.MulticlassClassification.Trainers.SdcaMaximumEntropy(labelColumnName: "Label", featureColumnName: "Features");
            var trainingPipeline = pipeline.Append(trainer);
            var model = trainingPipeline.Fit(dataView);

            // 4. 获取标签ID与原始词汇的映射关系（用于预测后还原词汇）
            var labelMap = mlContext.Data.Metadata.GetValue<VBuffer<KeyValuePair<uint, string>>>(model.Transform(dataView), "Label").GetValues().ToDictionary(x => x.Key, x => x.Value);

            // 5. 构造预测输入
            var testInput = new TextData
            {
                Context = "I want to" // 测试上下文
            };

            // 6. 创建预测引擎并执行预测
            var predictionEngine = mlContext.Model.CreatePredictionEngine<TextData, WordPrediction>(model);
            var prediction = predictionEngine.Predict(testInput);

            // 7. 整理候选词与概率，按概率降序排序
            var topPredictions = prediction.PredictionScores
                .Select((score, index) => new { Word = labelMap[(uint)index], Probability = score })
                .OrderByDescending(x => x.Probability)
                .Take(5); // 取概率最高的前5个候选词

            // 8. 输出结果
            Console.WriteLine("Top 5候选词及概率：");
            foreach (var item in topPredictions)
            {
                Console.WriteLine($"- {item.Word}: {item.Probability:P2}");
            }
        }
    }

    // 训练数据类：输入上下文 + 目标下一词
    public class TextData
    {
        [LoadColumn(0)]
        public string Context;

        [LoadColumn(1)]
        public string NextWord;
    }

    // 预测结果类：包含所有候选词的概率数组和预测标签ID
    public class WordPrediction
    {
        [ColumnName("Score")]
        public float[] PredictionScores;

        [ColumnName("PredictedLabel")]
        public uint PredictedLabelId;
    }
}

额外优化建议 #

• 使用n-gram特征：若需要更精准的上下文关联，可在FeaturizeText中显式配置n-gram参数，比如：

  .Append(mlContext.Transforms.Text.FeaturizeText("Features", new TextFeaturizingEstimator.Options
  {
      NgramLength = 2, // 启用二元组n-gram
      UseStemming = true // 也可在此启用词干提取，替代单独的Stem步骤
  }, "StemmedTokens"))
  

• 扩大数据集：词形归一化和模型效果高度依赖数据集规模，建议使用更大的语料库训练。
• 尝试词形还原（Lemmatization）：若词干提取效果不佳，可集成外部工具实现更精准的词形还原，进一步提升同源词的关联能力。

内容的提问来源于stack exchange，提问作者Nishikant