You need to enable JavaScript to run this app. Python从零实现逻辑回归梯度下降 成本函数输出NaN值问题排查
优惠活动
大模型
产品
解决方案
定价
更多

Python从零实现逻辑回归梯度下降 成本函数输出NaN值问题排查

核心问题根因

一、逻辑实现的两处硬错误

  • 数据标准化的维度索引完全写反
    你写的标准化循环本意是遍历每个特征列做分布缩放,但实际代码里range(x_train.shape[1])是按照特征数量设置的循环次数,索引x_train[i]时拿取的是第i个样本的整行特征值,而非第i列的特征序列。相当于完全没有按列完成标准化,反而把前N个样本的整行数据拿去计算均值、标准差,直接打乱了特征的正常分布,给后续梯度计算埋了数值溢出的隐患。这也是你之前尝试调低学习率、做标准化都没法解决NaN问题的核心原因——你以为自己做了正确的标准化,实际上根本没生效,反而因为维度索引错了引入了更严重的数值异常。
    正确的索引写法需要取列方向的全切片,也就是对第i列做运算时写x_train[:, i]、x_test[:, i],而非直接取整行。
  • sigmoid与成本函数没有做数值稳定性防护
    当输入给sigmoid的z值过大/过小(比如绝对值超过709),会触发np.exp()的浮点溢出,直接让sigmoid输出变成0或者1。代入成本公式计算时,np.log(0)会得到负无穷,最终求和后的成本值直接输出NaN。

二、成本全为NaN却仍有高准确率的原因

  • 你代码中min_cost记录最优参数的逻辑,在第一次出现NaN成本后就会永久失效:因为NaN和任何数值的大小比较结果都是False,不会再触发最优参数的更新。最终你拿到的min_theta,是第一次出现NaN之前、模型正常收敛阶段迭代得到的最优参数,和后面出现的NaN迭代过程没有关系。
  • 乳腺癌数据集本身的线性可分性很高,逻辑回归在该数据集上的正常测试准确率就是95%左右,哪怕你的标准化流程有问题,模型在前期正常迭代阶段已经学到了足够好用的分类边界,这个准确率是数据集本身特性带来的正常结果,不是异常值碰出来的。
  • 后续迭代因为数值溢出导致的theta参数异常,根本没有被作为最终输出的参数,自然不会拉低测试准确率。

三、NaN问题的修复方案

  • 修正标准化逻辑:把循环内的行索引替换为列方向的全切片索引,确保每个特征列单独完成标准化处理,避免特征分布被打乱。
  • 增加数值稳定性防护:在计算完sigmoid输出后,对结果做微小裁剪,把值限制在[1e-15, 1-1e-15]区间内,从根源避免出现0或1导致的log(0)运算错误,对应的代码为:
    h = np.clip(sigmoid(z), 1e-15, 1 - 1e-15)
  • 优化最优参数判断逻辑:每轮迭代计算出成本后,先判断是否为NaN,如果是则跳过本轮的最优参数更新,避免把异常迭代的参数存入最终结果。

内容的提问来源于stack exchange,提问作者Tanya Gupta

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 02:36:03