基于TensorFlow的神经网络进化算法实现遇瓶颈（井字棋任务）

问题背景 #

尝试用TensorFlow和Keras实现基于进化算法的神经网络训练来完成井字棋任务，但模型初期有提升后很快陷入停滞。模型架构包含位置嵌入（positional embedding）、两个Transformer Block（第一个由Attention层+Dense层组成，第二个由Attention层+LSTM组成），均使用因果掩码，最终通过Dense层输出落子概率分布。

算法流程：

• 初始化两个同架构模型，父模型保存为.h5文件，接收一维编码棋盘（0=玩家1位置，1=空位，2=对手位置）做预测。
• 每轮结束后：有胜者则保存其参数，基于惩罚分数随机调整生成新对手；平局或步数超20则训练两个模型。

当前使用的权重调整代码如下：

def training(model, penalization):
    # Variable initialization
    aleatory_value = tf.random.normal(shape=(1,), mean=0, stddev=3.0)
    learning_rate = 0.025
    if penalization <= 1:
        learning_rate = 0.0025
        aleatory_value = tf.random.normal(shape=(1,), mean=0, stddev=1.0)
    if penalization >= 2:
        learning_rate = 0.4
        aleatory_value = tf.random.normal(shape=(1,), mean=0, stddev=3.0)
      # Generate a random decimal value between -3.0 and 3.0 with 4 decimal places of precision
    penalty = tf.cast(penalization, tf.float32)  # Convert the penalty to float32
    for layer in model.layers:
        if isinstance(layer, tf.keras.layers.Dense):
            for neuron in layer.weights:
                current_weight = neuron.numpy()
                adjusted_weight = current_weight * (1 - learning_rate * penalty) + learning_rate * aleatory_value
                neuron.assign(adjusted_weight)
    model.save("model1.h5")

核心问题分析 #

1. 权重调整逻辑缺陷 #

• 全局单一随机扰动：所有Dense层的所有神经元都使用同一个aleatory_value，会导致权重向同质化方向更新，直接破坏模型的特征表达能力，模型很快失去多样性，陷入局部最优。
• 学习率与惩罚的不合理耦合：当penalization >=2时，learning_rate=0.4，计算1 - learning_rate * penalty会得到负数（比如penalty=3时，1-1.2=-0.2），负数会导致权重反向大幅突变，模型稳定性完全丧失，训练后期的更新都是无效噪声。
• 仅调整Dense层：忽略了位置嵌入、Attention、LSTM这些对井字棋任务至关重要的层——井字棋核心是位置关系和序列落子逻辑，这些层不更新，模型的核心能力根本无法进化。

2. 进化策略过于简单 #

• 仅保留胜者+随机调整的方式缺乏精英保留和交叉操作，很容易丢失优质权重组合，快速陷入局部最优。
• 平局时“训练两个模型”的逻辑没有明确的奖励信号，相当于无目标的随机更新，反而会打乱模型已学到的能力。
• 惩罚机制与权重调整的关联生硬，没有将“选择已占格子”这类错误直接映射到对应权重的惩罚，调整方向完全无针对性。

3. 模型架构过度复杂 #

井字棋是状态空间极小的简单任务，叠加两个带因果掩码的Transformer Block+LSTM属于过度设计，模型参数过多，进化算法很难在有限的迭代中探索到有效权重组合，反而容易过拟合到随机噪声。

改进建议 #

1. 精细化权重调整

   • 给每个神经元生成独立的随机扰动，替换全局单一的aleatory_value，比如aleatory_value = tf.random.normal(shape=neuron.shape, mean=0, stddev=...)。
   • 重构权重更新公式，避免权重反向：比如改为adjusted_weight = current_weight + learning_rate * aleatory_value * (1 / penalty if penalty > 0 else 1)，让惩罚仅控制扰动幅度，而非反向修改权重。

2. 覆盖所有可训练层

   • 去掉层类型判断，对所有包含可训练权重的层（包括位置嵌入、Attention、LSTM、Dense）进行权重更新，确保模型整体进化。

3. 优化进化策略

   • 引入精英保留：每轮保留前2-3个最优模型，作为后续迭代的父代。
   • 增加交叉操作：将两个获胜模型的权重按比例混合（比如各取50%）生成后代模型，丰富种群多样性。
   • 明确奖励信号：胜者权重保留+小幅度随机扰动，败者权重向胜者权重靠近（比如败者权重 = 败者权重 * 0.8 + 胜者权重 * 0.2 + 小扰动），平局时仅给模型施加极小幅度的扰动，避免无效更新。

4. 简化模型架构

   • 先尝试简单架构：比如MLP（3层Dense）+ 位置嵌入，或者单Transformer Block，验证进化策略有效后再逐步复杂化。

5. 优化惩罚机制

   • 将惩罚分数与模型的错误输出直接挂钩：比如模型预测已占格子的概率越高，惩罚分数越高，权重调整时对应输出神经元的扰动幅度越大，让惩罚更有针对性。

内容的提问来源于stack exchange，提问作者darth momin