NumPy随机采样中大采样量反而得到更少唯一元素的问题排查
负采样覆盖度倒挂问题根因定位
你遇到的“k越大唯一负样本数越少”的异常,本质是代码逻辑存在三个叠加的设计缺陷,完全和采样规模带来的覆盖度预期无关:
- 第一,误用
np.setdiff1d的默认行为引入强选择偏差np.setdiff1d计算两个数组的差集后,会自动将返回结果按升序做排序。你后续直接用[:num_neg]做切片截取,等于强制优先选择候选集中数值最小的索引当负样本,完全失去了采样的随机性。
这种偏差下的实际采样逻辑是:k=16时,预采样池大小是16*3=48个索引,从28k的词汇空间里随机抽48个数,抽到低值索引(也就是id很小、排在词汇表最前面的元素)的概率远高于k=4时只抽12个索引的情况。这些低值索引在差集排序后永远排在数组最前端,每次截取前16个的时候,会先把这些固定的低值id占满名额,剩下的位置才轮到其他随机抽到的元素;而k=4时,预采样池只有12个元素,抽到低值索引的概率低,每次截取前4个的时候,反而会选中更多分散在整个词汇表空间的元素,最终全局统计到的唯一负样本数自然更高。 - 第二,预采样池没有做兜底设计
预采样的大小只设成num_neg*3,完全没有考虑过滤掉和上下文重复元素的冗余需求:如果当前上下文里的待排除store_indexes数量偏多,过滤后剩下的可用候选本来就不足num_neg个,代码也不会补采,直接截断后拿到的有效样本数远低于设计值,进一步压缩了实际覆盖的词汇范围。 - 第三,固定随机种子下的序列消耗偏差
代码固定了np.random.seed(2),但k=4和k=16两个测试分支里,每次循环调用np.random.choice申请的随机数长度不一样,导致从第一次循环开始,两个分支消耗的随机数序列进度完全不同,生成的候选集从一开始就不是同源的分布,进一步放大了前面两个bug的影响,最终出现采样规模更大、覆盖度反而更低的倒挂现象。
可直接落地的修复方案
核心是去掉所有非随机的选择逻辑,保证负样本采样的随机性:
- 调整候选采样的截取逻辑,不要对排序后的差集数组直接切片,要在可用候选范围内做随机无放回抽样。
- 给预采样池预留足够的过滤冗余,设置保底的候选池大小,避免过滤后样本不足。
- 增加补采逻辑:如果过滤后的可用候选不够需要的负样本数量,自动从全词汇空间补采,直到拿满足额的负样本。
参考修复后的关键代码:
# 设置足够大的候选池,预留过滤冗余 candidate_pool_size = max(num_neg * 5, 200) possible_negs = np.random.choice(vocab_size, size=candidate_pool_size, replace=False) # 过滤掉和上下文、正样本重复的索引 available_negs = np.setdiff1d(possible_negs, store_indexes) # 可用候选不足时自动补采 while len(available_negs) < num_neg: extra_negs = np.random.choice(vocab_size, size=num_neg, replace=False) extra_negs = np.setdiff1d(extra_negs, store_indexes) available_negs = np.concatenate([available_negs, extra_negs]) # 从可用候选里随机选足额负样本,彻底避免排序带来的选择偏差 filtered_negs = np.random.choice(available_negs, size=num_neg, replace=False)
内容的提问来源于stack exchange,提问作者Howard Wang
相关产品推荐
相关产品推荐

