基于Code2vec嵌入的WEKA代码片段分类极端分割下精度异常问题咨询

这问题我之前帮同事排查过类似的，先给你拆解下可能的原因，以及第二次分割前需要做的调整：

为什么会出现“不管分割比例都准”的异常情况？ #

大概率是数据或流程出了问题，常见的几个原因：

• 数据泄露：Embedding已经编码了标签信息
  你自己训练的Code2vec模型，会不会在训练阶段不小心把buggy/non-buggy的标签特征混入了？比如训练数据预处理时，把bug标签作为额外输入喂给了模型，或者训练集和测试集没有严格隔离（比如测试集的代码片段提前出现在了Code2vec的训练数据里）。这种情况下，生成的embedding根本不是代码语义的特征，而是直接“记住”了标签——相当于给WEKA的分类器直接递答案，哪怕用1%的训练集也能轻松猜对。
• 类别分布极端失衡
  先统计下你的数据集里两类样本的数量：如果99%都是non-buggy（或反过来），那分类器只要无脑猜多数类，就能得到接近99%的精度。这种“高准确率”完全没有参考价值，得看F1-score、召回率这些更靠谱的指标。
• WEKA分类器的默认行为问题
  你用的是WEKA里的哪个分类器？比如部分朴素贝叶斯或树模型，当训练集极小时，可能会默认采用全局数据的类分布来预测，而不是只学习训练集的特征。换几个分类器（比如J48决策树、SVM）试试，如果所有模型都能稳定99%精度，那肯定是数据的问题。

第二次分割前必须做的调整 #

1. 先做数据有效性验证
   • 统计类别比例：用WEKA的Classify面板里的Visualize功能，或者手动计算两类样本的占比，确认是否失衡。如果失衡，要么做过采样/欠采样，要么改用F1、召回率评估。
   • 可视化Embedding：用t-SNE把380维的embedding降到2维（WEKA里有相关插件，也可以用Python的sklearn实现），看看buggy和non-buggy的样本是不是完全分开的——如果是，说明Embedding已经直接编码了标签，得重新训练Code2vec。
   • 检查Code2vec训练流程：确保训练Code2vec时，只输入代码的AST路径、token等纯代码特征，完全不涉及buggy/non-buggy的标签，标签是后续分类任务才使用的。
2. 调整WEKA的分割策略
   • 用分层抽样（Stratified Split）：WEKA的百分比分割默认是随机抽样，可能导致训练集和测试集的类别比例失衡。选择分层抽样能保证两类样本在训练/测试集中的占比和原数据集一致，避免虚假的高准确率。
   • 多次重复分割：比如做10次不同的80/20分割，看看准确率的波动。如果每次都稳定99%，那还是数据的问题；如果波动大，可能是某次分割的运气成分。

有没有人遇到过类似问题？ #

当然有，在Stack Exchange的Data Science、Stack Overflow板块里，不少开发者都遇到过这种“虚假高准确率”的情况，大多是因为数据泄露或类别失衡导致的。比如有人用预训练模型生成Embedding时，不小心把标签信息混入了训练，或者数据集本身的类别分布极端倾斜，导致分类器躺赢。

内容的提问来源于stack exchange，提问作者amar harrat