国际象棋评估神经网络优化求助：训练效果不佳问题咨询

我正在开发一款用于评估国际象棋局面的神经网络，目前训练数据约5000万行，存储于CSV文件中，每行包含FEN字符串和对局结果。我已完成模型构建及训练函数编写（代码如下），模型可进行对弈但表现很差。经过约一天的训练，模型准确率仅从0.5000提升至0.5100，损失值高达数十万。我对当前的优化方向毫无头绪，恳请各位提供模型架构、训练流程等方面的指导建议。

def create_model() -> tf.keras.Model:
    """Create and return a TensorFlow model for evaluating chess positions.

    Returns:
        A TensorFlow model.
    """
    model = tf.keras.Sequential()
    model.add(tf.keras.layers.Conv2D(filters=128, kernel_size=3, padding='same', activation='relu', kernel_regularizer='l2',  input_shape=(8, 8, 12)))
    model.add(tf.keras.layers.BatchNormalization())
    model.add(tf.keras.layers.Conv2D(filters=128, kernel_size=3, padding='same', activation='relu', kernel_regularizer='l2'))
    model.add(tf.keras.layers.BatchNormalization())
    model.add(tf.keras.layers.MaxPool2D(pool_size=2))
    model.add(tf.keras.layers.Dropout(rate=0.2))

    model.add(tf.keras.layers.Conv2D(filters=256, kernel_size=3, padding='same', activation='relu', kernel_regularizer='l2'))
    model.add(tf.keras.layers.BatchNormalization())
    model.add(tf.keras.layers.Conv2D(filters=256, kernel_size=3, padding='same', activation='relu', kernel_regularizer='l2'))
    model.add(tf.keras.layers.BatchNormalization())
    model.add(tf.keras.layers.MaxPool2D(pool_size=2))
    model.add(tf.keras.layers.Dropout(rate=0.2))

    model.add(tf.keras.layers.Conv2D(filters=512, kernel_size=3, padding='same', activation='relu', kernel_regularizer='l2'))
    model.add(tf.keras.layers.BatchNormalization())
    model.add(tf.keras.layers.Conv2D(filters=512, kernel_size=3, padding='same', activation='relu', kernel_regularizer='l2'))
    model.add(tf.keras.layers.BatchNormalization())
    model.add(tf.keras.layers.MaxPool2D(pool_size=2))
    model.add(tf.keras.layers.Dropout(rate=0.2))

    model.add(tf.keras.layers.Flatten())
    model.add(tf.keras.layers.Dense(units=1024, activation='relu', kernel_regularizer='l2'))
    model.add(tf.keras.layers.BatchNormalization())
    model.add(tf.keras.layers.Dropout(rate=0.2))
    model.add(tf.keras.layers.Dense(units=512, activation='relu', kernel_regularizer='l2'))
    model.add(tf.keras.layers.BatchNormalization())
    model.add(tf.keras.layers.Dropout(rate=0.2))
    model.add(tf.keras.layers.Dense(units=2, activation='softmax', kernel_regularizer='l2'))
    
    optimiser = tf.keras.optimizers.Adam()
    
    model.compile(optimizer=optimiser, loss='categorical_crossentropy', metrics=['accuracy'])

    return model

def train() -> None:
    """
    Train the TensorFlow model using the data in the `sample_fen.csv` file. The model is saved to the file `weights.h5` after training.
    """
    # This is only needed for training
    import pandas as pd

    training_data = pd.read_csv(r'neural_net\\Players\\mtcs_engine\\sample_fen.csv', chunksize=100000)
    model = create_model()

    try:
        model.load_weights(r"neural_net\\Players\\mtcs_engine\\weights.h5")
        print("Weights file found. Loading weights.")
    except FileNotFoundError:
        print("No weights file found. Training from scratch.")

    try:
        for cycle, chunk in enumerate(training_data):
            games = chunk.values.tolist()
            if cycle <= 11:
                continue
            # Preprocess the data
            positions = []
            outcomes = []

            for game in games:
                position = fen_to_tensor(game[0])
                outcome = game[1]
                
                if outcome == "w":
                    one_hot_outcome = [1, 0]
                elif outcome == "b":
                    one_hot_outcome = [0, 1]
                else:
                    one_hot_outcome = [0, 0] 

                outcomes.append(one_hot_outcome)
                positions.append(position)

            positions = np.array(positions)
            outcomes = np.array(outcomes)

            model.fit(positions, outcomes, epochs=150, batch_size=64)
            print(f"Finished training cycle {cycle}")
    except KeyboardInterrupt:
        pass

    model.save_weights(r"neural_net\\Players\\mtcs_engine\\weights.h5")
    print()
    print("Saved weights to disk")

模型架构优化建议 #

• 修正输出层与损失逻辑：当前用2神经元softmax处理三类结果（白胜、黑胜、平局），平局的[0,0]标签会让模型无法正确学习分类边界。改成3神经元输出，平局对应[0,0,1]，保持categorical_crossentropy损失函数，让模型明确区分三类结果。
• 移除冗余池化层：8x8棋盘经过三次MaxPool2D(pool_size=2)后，特征图会被压缩到1x1，完全丢失棋子位置的局部关联信息——这对棋类任务是致命的。建议删除所有池化层，改用步长为1的卷积，或仅保留一次池化（且改用平均池化）。
• 降低正则化强度：所有卷积和全连接层都加了L2正则，再配合Dropout，会过度限制模型的学习能力。先移除L2正则，只保留Dropout；如果担心过拟合，再尝试极低强度的L2（比如tf.keras.regularizers.l2(1e-4)）。
• 替换激活函数：ReLU在深层网络易出现梯度消失，换成Swish或Mish激活函数，能提升模型的特征表达能力，尤其适合卷积层。

训练流程优化建议 #

• 修复数据使用逻辑：代码中跳过前12个chunk的操作没有说明原因，直接浪费了120万条数据，建议移除该判断，或明确标注跳过的合理性。
• 检查特征编码：重点排查fen_to_tensor的实现，确保完整编码了棋子颜色、类型，以及王车易位、兵升变、先手方等关键局面信息——这些缺失会直接导致模型无法学习有效特征。
• 调整训练参数：
  • 每个chunk训练150epoch会导致过拟合单块数据，建议减少到1-5epoch，采用增量式训练；
  • 降低Adam默认学习率（从0.001调到0.0001），或加入学习率调度器（如ReduceLROnPlateau），当损失停滞时自动降学习率；
  • 在显存允许的情况下，增大batch_size到256或512，提升训练稳定性和效率。
• 平衡训练数据：检查数据集里三类结果的占比，如果某类（比如平局）占比过低，模型会偏向预测多数类，导致准确率卡在0.5左右。可以用class_weight参数设置加权损失，或对少数类数据进行重采样。
• 添加验证环节：当前训练没有验证集，无法判断模型是否真正具备泛化能力。建议从每个chunk中拆分10%作为验证集，或单独准备验证数据，训练时监控验证损失和准确率。

其他排查方向 #

• 损失值异常排查：损失高达数十万，可能是标签编码错误，或fen_to_tensor输出的特征未归一化。检查特征张量的取值范围，确保是0/1的二值编码（或归一化到0-1区间）。
• 参考经典棋类模型：AlphaZero的残差网络（ResNet）结构更适合棋类任务，残差连接能解决深层网络的梯度消失问题，大幅提升模型的特征学习能力。

内容的提问来源于stack exchange，提问作者Edward BAKER