谷歌云NLP classifyText接口不足20词无法处理的可行方案咨询

方案可行性说明 #

• 追加a/of/it/to这类通用虚词的方案不推荐：这类虚词虽然语义权重低，但大量堆砌会严重稀释原文本的语义特征，大概率导致分类结果偏离实际语义，甚至返回无匹配分类。
• 重复原有短文本的方案有一定可行性：但需要控制重复次数，刚好凑够20词即可，不要过度重复。否则会导致原文本语义权重异常放大，出现分类置信度虚高、和实际场景结果不符的问题。
• 最优方案是追加中性无明确语义指向的短句：比如this is a common text for content classification这类和具体领域无关的中性表述，凑够20词即可，对原文本分类结果的干扰最小。

调整后的示例代码 #

async function quickstart() {
    const language = require('@google-cloud/language');
    const client = new language.LanguageServiceClient();

    // 原短文本
    const originText = 'The Atlanta Braves is the best team.';
    // 追加中性短句凑够20词
    const paddingText = 'This is a general text for content classification test.';
    const text = `${originText} ${paddingText}`;

    const document = {
        content: text,
        type: 'PLAIN_TEXT',
    };

    const [classification] = await client.classifyText({document});
    console.log('Categories:');
    classification.categories.forEach(category => {
        console.log(`Name: ${category.name}, Confidence: ${category.confidence}`);
    });
}

quickstart();

内容的提问来源于stack exchange，提问作者johnsonjp34