NMF实现迭代更新W、H时误差不再下降的问题排查

• 乘性更新公式遗漏关键归一化项
  基于KL散度目标推导的NMF乘性更新规则，W和H的逐元素更新需包含分母求和项：

  $W_{ia} \leftarrow W_{ia} \cdot \frac{\sum_m (V_{im}/(WH){im} \cdot H{am})}{\sum_m H_{am}}$
  $H_{au} \leftarrow H_{au} \cdot \frac{\sum_n (V_{nu}/(WH){nu} \cdot W{na})}{\sum_n W_{na}}$
  现有更新逻辑仅计算了分子的点积部分，完全缺失分母的行/列求和项，导致每次更新的系数未做归一化。几次迭代后W或H的元素值会异常放大或缩小，最终WH与V的误差固定在较高水平，无法持续下降。

• 嵌套循环更新的数值稳定性缺陷
  逐元素循环更新时，每修改一个W或H的元素，后续计算WH乘积时就会混用当前迭代步的新值与旧值，打乱梯度更新方向，直接导致收敛停滞。
• 运算符优先级引发的计算偏差
  Python中矩阵乘@与除法/为同优先级左结合运算符，原有代码中V[i,:] / (W@H)[i,:] @ H[a,:]的实际运算顺序与公式推导的顺序存在偏差，进一步放大计算误差。
• 配置参数的不合理设置
  最大迭代次数仅设置为8次，远低于NMF收敛所需的迭代规模；除法运算未加极小值截断，易出现除零错误；秩r的设置与合成数据的真实秩不匹配，也会导致误差无法降到合理下界。

• 用矩阵形式实现乘性更新，替代嵌套循环
  矩阵形式的更新逻辑，会基于每个迭代步初始的W、H值一次性完成所有元素的更新，避免新旧值混用，同时大幅提升运行效率。核心更新代码如下：

  epsilon = 1e-9
  for iter in range(maxIter-1):
      # 计算当前WH乘积，加截断避免除零
      WH = W @ H + epsilon
      
      # 按标准规则更新W
      W_numerator = (V / WH) @ H.T
      W_denominator = H.sum(axis=1, keepdims=True)
      W = W * W_numerator / W_denominator
      
      # 基于更新后的W重新计算WH，更新H
      WH = W @ H + epsilon
      H_numerator = W.T @ (V / WH)
      H_denominator = W.sum(axis=0, keepdims=True).T
      H = H * H_numerator / H_denominator
      
      # 记录当前迭代的F范数误差
      f[iter+1] = np.linalg.norm(V - W @ H, ord='fro')
  

• 调整超参数匹配收敛需求
  将maxIter调整为1000以上，观察长期收敛趋势；如果需要验证完全收敛效果，可将秩r设为与合成数据真实秩一致的2，此时误差会持续下降到接近0。
• 收敛性说明
  修正后的更新逻辑完全符合乘性更新的收敛性保证，误差会随迭代次数增加单调下降，最终稳定在与秩设置对应的下界，不会出现几次迭代就停滞的问题。

内容的提问来源于stack exchange，提问作者Sameen