Word2vec/GloVe短书名作者预测任务性能低的原因与优化方案

你现在卡准确率本质是方案逻辑和任务目标不匹配，不是靠调Word2vec/GloVe参数能解决的，核心问题有三个：

• Word2vec、GloVe本身是无监督词共现特征模型，训练目标是学习词和周边上下文的共现规律，从来没有建模「文本内容-作者标签」的映射关系。你现在用“书名词向量和库内向量做匹配返回作者”的逻辑，底层假设是「书名词向量相似度高=属于同一个作者」，这个假设本身就站不住脚：同作者的书题材、命名风格可能差异极大，向量距离很远；不同作者的同题材书（比如各个版本的《高等数学》、同名不同作者的小说）命名高度重合，向量距离极近，从根上就会判错。
• 短文本特性进一步放大了无监督嵌入的缺陷：你用的书名平均长度只有4个词，之前设的window_size=5甚至比大部分书名词数还长，模型根本抓不到稳定的上下文共现关系，训出来的词向量区分度本来就差。
• 你之前做的语料复制扩容完全是无效操作：重复喂全量语料不会改变任何词的共现相对频率，没有任何新增信息，涨的2%准确率只是训练轮次增加带来的过拟合效果，不是泛化能力提升。另外你设的min_count=1会把爬取带来的乱码、错拼、只出现一次的噪声词全纳入训练，这些词的向量基本是随机噪声，会进一步拉低整体嵌入质量。

按优先级从高到低试，不用全做，前两步就能把准确率拉到远超25%的水平：

• 第一优先级：扔掉纯无监督向量匹配的思路，引入监督信号
  1. 先做基础语料清洗：全量去重，把重复的书名条目合并，绑定对应的作者标签，过滤掉乱码、特殊符号占比过高、长度小于2个字符的无效条目；把词向量训练的min_count调到5-10，直接过滤掉出现频次极低的噪声词。
  2. 不要从零开始训词向量做匹配，直接做端到端的短文本分类：用公开的通用/图书领域预训练Word2vec/GloVe做嵌入层初始化，后面接全局平均池化+2层全连接层，输出层维度对应你语料里的作者总数，直接喂「书名-作者」的标注对训练，让模型直接学书名到作者的映射关系，这一步做完准确率基本能到60%以上。
  3. 如果课程要求必须用向量匹配的逻辑不能做分类，就把原来的“词向量直接平均得到书名向量”改成TF-IDF加权平均：给书名里区分度高的专属词（比如特定IP名、特有概念、作品核心主题词）更高权重，给“教程”“导论”“选集”“全集”这类所有作者都可能用的通用词降权，再做余弦相似度匹配，不用改模型参数就能涨10%-15%的准确率。
• 第二优先级：针对短文本特性调Word2vec/GloVe参数
  1. 把window_size从5降到2-3，适配平均4个词的短文本长度，避免窗口跨整个书名抓不到有效共现。
  2. 训练时把hs=1（层次softmax）关掉，换成负采样，负采样个数设为5-10，短文本场景下负采样训出来的嵌入质量远好于层次softmax。
  3. 给每个书名的首尾加<s>、</e>特殊标记参与训练，补足短文本缺失的上下文边界信息。
• 第三优先级：如果允许跳出Word2vec/GloVe的限制，直接换短文本专用方案
  用FastText做书名到作者的短文本分类，不需要手动调试复杂的嵌入参数，对1-10词长度的短文本适配性远好于Word2vec/GloVe，训练速度快3-5倍，在你这个110万条规模的数据集上，调好参数准确率能到80%左右。

纯无监督训练的Word2vec/GloVe，优化目标永远是“根据中心词预测上下文词/根据上下文预测中心词”，全程没有接触过作者标签信息，不管你怎么调参数、扩语料，模型能学到的只有词和词的共现关系，不可能学到词和作者的关联。你现在拿到的25%准确率，本质上已经是无监督匹配方案在这个任务上的天花板——这个数值刚好对应“命名风格、用词高度相似的书刚好属于同一个作者”的自然概率，不引入作者标签的话不可能突破这个上限。

内容的提问来源于stack exchange，提问作者Sanjana