PyGAD优化Keras ANN参数时CategoricalCrossentropy返回NaN引发索引错误

核心原因及对应解决方案 #

1. 预测值触发对数计算异常 #

CategoricalCrossentropy会对预测值取log，若预测值为0或1，log(0)会返回-inf，最终导致NaN。

• 解决方法1：给预测值添加极小值限制范围，避免极端值：

  predictions = model.predict(x_test)
  predictions = np.clip(predictions, 1e-7, 1 - 1e-7)  # 把预测值限制在(0,1)区间内
  

• 解决方法2：改用from_logits=True参数，让损失函数直接处理未经过softmax的logits输出，绕开softmax后可能出现的极端值：

  loss = tf.keras.losses.CategoricalCrossentropy(from_logits=True)
  

2. GA生成的参数引发网络输出异常 #

遗传算法生成的权重、偏置可能出现过大/过小的极端值，导致网络输出偏离正常范围。

• 解决方法1：在GA初始化时限制基因空间的取值范围，比如设置为[-5,5]：

  ga_instance = pygad.GA(gene_space=[{'low': -5, 'high': 5}] * num_genes, ...)
  

• 解决方法2：对GA生成的参数做归一化处理后再传入网络：

  def fitness_func(ga_instance, solution, solution_idx):
      # 归一化参数到[0,1]区间
      solution = (solution - solution.min()) / (solution.max() - solution.min() + 1e-7)
      # 加载参数到神经网络
      ...
  

3. 标签数据的潜在不规范问题 #

即使表面检查无异常，也可能存在one-hot编码错误（比如某样本标签全为0），导致损失计算异常。

• 解决方法：验证标签的one-hot格式有效性：

  # 确保每个样本的one-hot标签只有一个1
  assert np.all(np.sum(y_test, axis=1) == 1), "存在无效的one-hot标签样本"
  

4. 网络结构或训练设置导致的不稳定 #

网络层数过多、优化的学习率极端等情况，可能引发梯度爆炸/消失，间接导致NaN。

• 解决方法1：给网络添加批量归一化层，稳定训练过程：

  model.add(tf.keras.layers.BatchNormalization())
  

• 解决方法2：若GA优化的是学习率，限制其范围在[1e-5, 1e-2]区间内，避免极端值。

调试辅助手段 #

• 在适应度函数中添加日志记录，定位NaN出现的具体场景：

  def fitness_func(ga_instance, solution, solution_idx):
      ...
      predictions = model.predict(x_test)
      print(f"预测值范围: [{predictions.min():.6f}, {predictions.max():.6f}]")
      loss_val = loss(y_test, predictions).numpy()
      print(f"当前损失值: {loss_val}")
      # 保存异常数据用于后续分析
      if np.isnan(loss_val):
          np.save("nan_solution.npy", solution)
          np.save("nan_predictions.npy", predictions)
          np.save("nan_labels.npy", y_test)
      ...
  

• 临时禁用GPU加速，排查是否为浮点精度问题导致的NaN：

  import os
  os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
  

内容的提问来源于stack exchange，提问作者Illuminy