You need to enable JavaScript to run this app. NumPy随机采样中大采样量反而得到更少唯一元素的问题排查
优惠活动
大模型
产品
解决方案
定价
更多

NumPy随机采样中大采样量反而得到更少唯一元素的问题排查

负采样覆盖度倒挂问题根因定位

你遇到的“k越大唯一负样本数越少”的异常,本质是代码逻辑存在三个叠加的设计缺陷,完全和采样规模带来的覆盖度预期无关:

  • 第一,误用np.setdiff1d的默认行为引入强选择偏差
    np.setdiff1d计算两个数组的差集后,会自动将返回结果按升序做排序。你后续直接用[:num_neg]做切片截取,等于强制优先选择候选集中数值最小的索引当负样本,完全失去了采样的随机性。
    这种偏差下的实际采样逻辑是:k=16时,预采样池大小是16*3=48个索引,从28k的词汇空间里随机抽48个数,抽到低值索引(也就是id很小、排在词汇表最前面的元素)的概率远高于k=4时只抽12个索引的情况。这些低值索引在差集排序后永远排在数组最前端,每次截取前16个的时候,会先把这些固定的低值id占满名额,剩下的位置才轮到其他随机抽到的元素;而k=4时,预采样池只有12个元素,抽到低值索引的概率低,每次截取前4个的时候,反而会选中更多分散在整个词汇表空间的元素,最终全局统计到的唯一负样本数自然更高。
  • 第二,预采样池没有做兜底设计
    预采样的大小只设成num_neg*3,完全没有考虑过滤掉和上下文重复元素的冗余需求:如果当前上下文里的待排除store_indexes数量偏多,过滤后剩下的可用候选本来就不足num_neg个,代码也不会补采,直接截断后拿到的有效样本数远低于设计值,进一步压缩了实际覆盖的词汇范围。
  • 第三,固定随机种子下的序列消耗偏差
    代码固定了np.random.seed(2),但k=4和k=16两个测试分支里,每次循环调用np.random.choice申请的随机数长度不一样,导致从第一次循环开始,两个分支消耗的随机数序列进度完全不同,生成的候选集从一开始就不是同源的分布,进一步放大了前面两个bug的影响,最终出现采样规模更大、覆盖度反而更低的倒挂现象。
可直接落地的修复方案

核心是去掉所有非随机的选择逻辑,保证负样本采样的随机性:

  • 调整候选采样的截取逻辑,不要对排序后的差集数组直接切片,要在可用候选范围内做随机无放回抽样。
  • 给预采样池预留足够的过滤冗余,设置保底的候选池大小,避免过滤后样本不足。
  • 增加补采逻辑:如果过滤后的可用候选不够需要的负样本数量,自动从全词汇空间补采,直到拿满足额的负样本。

参考修复后的关键代码:

# 设置足够大的候选池,预留过滤冗余
candidate_pool_size = max(num_neg * 5, 200)
possible_negs = np.random.choice(vocab_size, size=candidate_pool_size, replace=False)
# 过滤掉和上下文、正样本重复的索引
available_negs = np.setdiff1d(possible_negs, store_indexes)
# 可用候选不足时自动补采
while len(available_negs) < num_neg:
    extra_negs = np.random.choice(vocab_size, size=num_neg, replace=False)
    extra_negs = np.setdiff1d(extra_negs, store_indexes)
    available_negs = np.concatenate([available_negs, extra_negs])
# 从可用候选里随机选足额负样本,彻底避免排序带来的选择偏差
filtered_negs = np.random.choice(available_negs, size=num_neg, replace=False)

内容的提问来源于stack exchange,提问作者Howard Wang

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 13:24:03