You need to enable JavaScript to run this app. NumPy中规避数值误差的非归一化对数概率分类采样实现
优惠活动
大模型
产品
解决方案
定价
更多

NumPy中规避数值误差的非归一化对数概率分类采样实现

非归一化对数概率的NumPy采样实现(等效tf.random.categorical)

NumPy 没有原生支持这类场景的内置分类采样函数,但完全可以通过和 TensorFlow 对应接口底层一致的数值稳定方法实现,全程不需要做易引入误差的全量归一化指数运算,计算效率足够覆盖绝大多数使用场景。

核心实现逻辑

你之前遇到的“先对对数概率归一化、再做指数计算导致数值误差”的问题,根源是强行走到了“计算归一化常数-全量指数映射”的步骤。实际上分类采样的本质是按照对数概率的相对大小抽取索引,所有对数概率同步加减任意常数,最终的采样分布都不会发生变化,根本不需要算出精确的归一化值。

你之前无法使用np.random.choice的核心原因,是该接口强制要求传入归一化后的概率数组,必须走完“对数归一化-全量指数映射”的高误差流程,无法适配非归一化对数概率的直接采样场景。

两种成熟的高效实现方案都完全绕开了高误差的归一化步骤:

方案一:校准后的累积分布采样

这是和 tf.random.categorical 实现逻辑完全对齐的方法,计算开销低,适合批量采样场景:

  • 对输入的对数概率数组做范围校准:减去数组内的最大值,避免后续指数计算出现上溢出。这一步不会改变相对概率大小,因此完全不影响采样分布。
  • 对校准后的对数概率直接做指数映射,此时所有值都落在(0,1]区间,不会触发上溢;原本极小的对数概率对应的指数值虽然很小,但这一步的精度损失远低于“先归一化再全量指数”的场景,对采样结果的处理逻辑和TensorFlow完全一致。
  • 对得到的未归一化指数值计算累积分布数组,生成落在[0, 总累积值)区间的均匀随机数,通过二分查找定位随机数落在哪个累积区间,对应的索引就是采样结果。

可直接运行的代码:

import numpy as np

def sample_from_logits(logits: np.ndarray, sample_num: int = 1) -> np.ndarray:
    # 转换为64位浮点保证计算精度
    logits = np.asarray(logits, dtype=np.float64)
    # 范围校准,避免指数上溢
    logits = logits - np.max(logits)
    # 计算未归一化概率
    unnorm_probs = np.exp(logits)
    # 生成累积分布
    cum_dist = np.cumsum(unnorm_probs)
    total_prob = cum_dist[-1]
    # 生成匹配范围的均匀随机数
    rand_samples = np.random.uniform(low=0, high=total_prob, size=sample_num)
    # 二分查找定位采样索引
    return np.searchsorted(cum_dist, rand_samples)

方案二:Gumbel最大值采样

这是数值稳定性最高的方案,全程不需要任何指数运算,完全在对数域完成计算,从根源上避免指数运算带来的精度损失,特别适合对数概率动态范围极大(部分值低于-1000这类极端场景)、类别数极多的场景。
核心逻辑是给每个对数概率叠加独立的Gumbel分布随机噪声,直接取加噪后值最大的索引,采样结果和原分类分布完全等价。

对应实现代码:

import numpy as np

def sample_from_logits_gumbel(logits: np.ndarray) -> int:
    # 生成[0,1)区间的均匀随机数
    u = np.random.uniform(size=logits.shape)
    # 转换为Gumbel分布噪声
    gumbel_noise = -np.log(-np.log(u))
    # 取加噪后最大值对应的索引
    return np.argmax(logits + gumbel_noise)

常见误区说明

很多实现会强行先计算logsumexp对对数概率做精确归一化,再做采样——这一步不仅引入不必要的计算开销,在对数概率动态范围极大的时候,logsumexp的浮点计算本身就会带来精度损失,反而不如直接减最大值的校准方法稳定。浮点数精度本身无法表示的极小概率类别,即便做了精确归一化,也永远不会被采样到,直接映射为0值是合理的结果,不会带来系统偏差。

内容的提问来源于stack exchange,提问作者user3338852

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 15:36:08