困惑度在开放域文本生成任务中为何不可靠？lm-score有何优势？

一、困惑度（Perplexity）在开放域文本生成中不可靠的原因 #

• 目标错位：困惑度的核心是衡量模型对已有真实文本的预测概率，本质是评估“拟合能力”；但开放域生成的核心是产出多样、合理的全新文本，低困惑度可能对应高度重复、缺乏新意的生成结果，反而偏离任务目标。
• 惩罚合理多样性：开放域生成鼓励多样化表达，但困惑度会给训练数据中少见但语义合理的内容打低分——这类内容的预测概率低，导致困惑度升高，可实际生成质量并不差。
• 缺失语义判断：困惑度仅关注token级别的概率连贯性，无法识别生成文本的语义是否通顺、逻辑是否自洽。比如模型可能生成语法流畅但语义完全混乱的文本，此时困惑度可能很低，但实际质量极差。
• 受训练数据偏差影响：如果训练数据存在偏见或噪音，困惑度会偏向拟合这些偏差内容，无法客观反映生成文本在真实场景中的实际质量。

二、lm-score相较于困惑度的额外优势 #

根据你提到的论文内容，lm-score作为基于预训练语言模型的类困惑度指标，相比传统困惑度有以下关键优势：

• 贴合生成任务目标：lm-score聚焦于评估生成文本的“自然度与语义合理性”，而非复刻训练数据，更匹配开放域生成“产出高质量新文本”的核心需求。
• 兼容合理多样性：lm-score不会单纯惩罚低概率但符合语义逻辑的表达，它能基于预训练模型对语言的整体理解，识别并认可“少见但合理”的多样化输出，平衡质量与多样性的评估。
• 具备语义层面评估能力：依托预训练语言模型的语义理解能力，lm-score能判断生成内容是否符合语境、逻辑是否通顺，弥补了困惑度仅关注token概率的缺陷。
• 灵活适配场景需求：lm-score可选用不同规模、不同领域的预训练模型进行评估，能针对特定生成场景（如专业领域文本生成）调整评估标准，而困惑度通常依赖生成模型自身参数，灵活性不足。
• 保留可解释性的同时提升准确性：lm-score延续了困惑度“数值化衡量语言流畅度”的直观性，同时优化了评估逻辑，让分数更能反映生成文本的实际质量，兼具可解释性与准确性。

内容的提问来源于stack exchange，提问作者Sahil Yerawar