如何使用np.expm1计算极端值下高精度的sigmoid函数？

这个问题问得很好！确实，当处理极端大或极端小的x值时，直接计算sigmoid的标准公式会因为浮点精度限制出现下溢，导致结果直接变成0或1，丢失了微小的精度。而np.expm1的优势在于能更精确计算exp(z)-1，尤其是当z接近0的时候，但我们可以通过变形sigmoid的公式，把它和np.expm1结合起来，在极端值下获得更准确的结果。

首先回忆sigmoid的两个等价表达式：

• 当x ≥ 0时：σ(x) = 1 / (1 + exp(-x)) = 1 - 1/(exp(x)+1)
• 当x < 0时：σ(x) = exp(x)/(1 + exp(x))

而np.expm1(z) = exp(z) - 1，所以exp(z) = np.expm1(z) + 1。我们可以把这个关系代入上面的表达式，替换掉exp(x)或exp(-x)：

具体实现思路 #

分两种情况处理x的正负，避免计算极端的指数值：

1. 当x ≥ 0时：
   把exp(x)替换为np.expm1(x) + 1，代入1 - 1/(exp(x)+1)，得到：
   σ(x) = 1 - 1/(np.expm1(x) + 2)
   这样当x极大时，np.expm1(x)会非常接近exp(x)（因为exp(x)远大于1），但不会出现计算exp(-x)时的下溢问题，同时利用np.expm1的高精度特性。

2. 当x < 0时：
   把exp(x)替换为np.expm1(x) + 1，代入exp(x)/(1 + exp(x))，得到：
   σ(x) = (np.expm1(x) + 1)/(np.expm1(x) + 2)
   当x极小（绝对值极大的负数）时，exp(x)会非常接近0，直接计算容易下溢，但np.expm1(x)能精确表示exp(x)-1（接近-1），加上1后就得到精确的exp(x)值，分母则是(exp(x)-1)+2 = exp(x)+1，完美对应原公式。

代码实现 #

import numpy as np

def high_precision_sigmoid(x):
    # 区分正负掩码
    pos_mask = x >= 0
    neg_mask = ~pos_mask
    
    result = np.empty_like(x, dtype=np.float64)  # 用float64提升精度
    
    # 处理非负x
    result[pos_mask] = 1 - 1 / (np.expm1(x[pos_mask]) + 2)
    # 处理负x
    result[neg_mask] = (np.expm1(x[neg_mask]) + 1) / (np.expm1(x[neg_mask]) + 2)
    
    return result

验证效果 #

比如测试x=-20：

• 直接计算：1/(np.exp(20)+1) ≈ 2.061155724736592e-9
• 用我们的函数：high_precision_sigmoid(-20)得到的结果和直接计算几乎一致，但当x更极端时（比如x=-300），直接计算np.exp(x)会下溢到0，返回0，而我们的函数会返回更精确的极小值（虽然在浮点精度下可能还是接近0，但避免了直接下溢到0的情况）。

再测试x=20：

• 直接计算：1/(1+np.exp(-20)) ≈ 0.9999999979388442
• 用我们的函数得到的结果完全一致，但当x极大时（比如x=300），直接计算np.exp(-x)下溢到0，返回1，而我们的函数会返回更接近真实值的结果（依然接近1，但保留了微小的精度）。

这个方法的核心是通过公式变形，把极端情况下的指数计算转化为np.expm1能处理的形式，从而利用它的高精度特性，避免浮点下溢带来的精度丢失。

内容的提问来源于stack exchange，提问作者Brenlla