如何评估T5预训练抽象式文本摘要模型的输出准确率

适配生成式摘要任务的核心评估方法 #

和传统分类、匹配任务的固定类别准确率计算逻辑不同，抽象式摘要的输出是开放文本，不存在逐字/逐词的绝对匹配标准答案，通用的评估维度分为两类：

• 自动量化评估指标，适合大规模测试集的快速测算
  • ROUGE系列指标：是摘要任务领域的通用基准，核心计算生成摘要和人工标注参考摘要的重叠程度：ROUGE-1、ROUGE-2分别统计单token、双token的重叠占比，衡量生成内容的字面匹配度；ROUGE-L统计两者最长公共子序列的匹配占比，不需要文本完全连续对应，更贴近实际表达的匹配效果。
  • 语义匹配类指标：解决传统重叠指标无法识别“语义一致但表述不同”内容的缺陷，包括BERTScore、BLEURT等，依托预训练模型的上下文语义表征，计算生成摘要和参考摘要的语义相似度，更适合评估T5这类生成式模型的真实表达效果。
• 人工评估维度，用来补全自动指标的评估盲区
  自动指标无法识别T5生成内容的事实幻觉、逻辑错误等问题，需要人工按三个维度校验：一是事实一致性，即生成内容是否存在和原始输入文本相悖的错误信息；二是信息覆盖度，即是否完整覆盖原文的核心关键信息，没有遗漏核心要点；三是表达流畅度，即生成内容是否存在语法不通、指代不明的问题。

输出精度百分比的具体测算路径 #

不要直接照搬分类任务“预测正确数/总样本数”的逐字匹配逻辑，要按对应评估维度的规则量化，具体步骤：

1. 提前划定独立的测试基准：准备和训练/验证集无重叠的测试集，每个样本搭配对应人工标注的参考摘要，测试集规模要覆盖足够的场景类型，避免结果偶然性。
2. 按评估维度换算精度值
   • 采用ROUGE类重叠指标测算时：直接将指标计算得到的0-1区间得分乘以100，即可得到对应维度的精度百分比，比如ROUGE-L平均得分为0.65，即代表该维度下的输出匹配精度为65%。
   • 采用语义匹配类指标测算时：将单样本的语义匹配得分在全测试集范围取平均，再乘以100得到整体精度值，比如BERTScore平均语义相似度为0.78，即代表语义匹配维度的输出精度为78%。
   • 采用人工维度测算时：统计单评估维度下满足合格标准的样本数，除以总测试样本数后乘以100，得到对应维度的精度，比如100个测试样本中83个不存在事实错误，即事实一致性维度的精度为83%；75个完整覆盖了原文核心信息，即信息覆盖维度的精度为75%。
3. 偏差校准：随机抽取10%左右的测试样本做人工复核，修正自动指标的误判（比如把字面重叠高但语义偏差的样本、语义正确但字面重叠低的样本做调整），校准后的数值才是模型的真实输出精度。

内容的提问来源于stack exchange，提问作者usama