使用相同训练集的IBM Watson NLU与NLC分类器输出差异技术咨询
2026-9-25
IBM Watson NLC迁移至NLU的输出结果差异说明
所有正在使用IBM Watson的自然语言分类器（Natural Language Classifier，简称NLC）服务的用户在调用API时都见过如下提示：
2021年8月9日，IBM宣布Natural Language Classifier服务正式弃用。该服务将于2022年8月8日起停止服务。自2021年9月9日起，用户将无法创建新的服务实例，现有实例的服务支持将持续至2022年8月8日，该日期后所有留存实例将被删除。
IBM官方引导用户将NLC模型迁移至其自然语言理解（Natural Language Understanding，简称NLU）服务。相关用户首次完成NLC分类模型向NLU的迁移后，为验证效果对比了二者的输出结果。迁移操作严格遵循官方迁移指南执行，下载了用于构建原始NLC分类器的全部训练数据集用来在NLU中重建分类器，两个分类器的训练数据集完全一致。在NLU中重建分类器的流程顺畅，训练耗时与NLC平台基本持平。
为对比性能，用户搭建了未参与过两类分类器训练的100条短语测试集，分别输入两个分类器进行推理。测试结果显示二者输出存在显著差异：置信值差值大于0.30的结果共18条，占比18%；若将差值阈值放宽至0.2，差异结果共37条，占比37%，两类服务的分析结果差异十分明显。
该差异程度过高，不建议用户毫无验证就直接批量迁移所有NLC模型至NLU，当前测试结果表明需要引入主题专家（SME）人工校验分析结果才能开展后续迁移工作。目前仍待明确两类服务输出存在显著差异的核心原因，以及可缩小结果差异的优化方案。
本次对比测试的部分分析结果
| 文献标题 | NLC置信值 | NLU置信值 | 结果可比性 |
|---|---|---|---|
| "Microbial Volatile Organic Compound (VOC)-Driven Dissolution and Surface Modification of Phosphorus-Containing Soil Minerals for Plant Nutrition: An Indirect Route for VOC-Based Plant-Microbe Communications" | 0,01 | 0,05 | 可比 |
| "Valorization of kiwi agricultural waste and industry by-products by recovering bioactive compounds and applications as food additives: A circular economy model" | 0,01 | 0,05 | 可比 |
| "Quantitatively unravelling the effect of altitude of cultivation on the volatiles fingerprint of wheat by a chemometric approach" | 0,70 | 0,39 | 差异 |
| "Identification of volatile biomarkers for high-throughput sensing of soft rot and Pythium leak diseases in stored potatoes" | 0,01 | 0,33 | 差异 |
| "Impact of Electrolyzed Water on the Microbial Spoilage Profile of Piedmontese Steak Tartare" | 0,08 | 0,50 | 差异 |
| "Review on factors affecting Coffee Volatiles: From Seed to Cup" | 0,67 | 0,90 | 差异 |
| "Chemometric analysis of the volatile profile in peduncles of cashew clones and its correlation with sensory attributes" | 0,79 | 0,98 | 可比 |
| "Surface-enhanced Raman scattering sensors for biomedical and molecular detection applications in space" | 0,00 | 0,00 | 可比 |
| "Understanding the flavor signature of the rice grown in different regions of China via metabolite profiling" | 0,26 | 0,70 | 差异 |
| "Nutritional composition, antioxidant activity, volatile compounds, and stability properties of sweet potato residues fermented with selected lactic acid bacteria and bifidobacteria" | 0,77 | 0,87 | 可比 |
内容的提问来源于stack exchange，提问作者Joost Vos
相关产品推荐
相关产品推荐
