TensorFlow 1.7代码在TensorFlow 2中性能差异极大求助

核心问题分析 #

原TF1模型测试集准确率达97%，转TF2后仅75%，结合提供的代码，问题集中在初始化逻辑差异、API行为变化以及TF1/TF2模式适配三个核心点：

1. 初始化逻辑的问题 #

• 原代码中偏置（biases）使用Xavier初始化并非标准做法（偏置通常用零或小常数初始化），且TF2中tf.contrib.layers.xavier_initializer已被替换为tf.initializers.GlorotUniform，两者初始化分布细节存在差异。
• 原代码里pred被重复定义为占位符和tf.nn.softmax(logits)，TF1图模式下可能被覆盖，但TF2即时执行模式下会导致变量冲突。

2. 加权交叉熵API的行为差异 #

TF2中tf.nn.weighted_cross_entropy_with_logits的参数要求和计算逻辑与TF1有细微区别：

• pos_weight维度需与标签Y严格匹配，原代码中loss_weights是二维数组，而Y为[None, n_classes]，易导致广播逻辑异常。
• 该函数在TF2中对logits数值范围更敏感，若数据预处理不一致，会放大损失计算偏差。

3. TF1图模式到TF2即时执行模式的适配问题 #

原代码的占位符（tf.placeholder）、会话运行逻辑在TF2中已废弃，转换器自动转换的代码可能未完全适配即时执行模式，导致变量初始化、训练步骤的执行逻辑出现偏差。

修复后的TF2风格代码 #

以下代码严格对齐原TF1模型核心逻辑，同时适配TF2 API：

import tensorflow as tf

# 替换为你的实际参数值
n_input = 128
n_classes = 5
n_hidden_1 = 256
n_hidden_2 = 256
n_hidden_3 = 256
learning_rate = 0.001

# 定义MLP模型（TF2 Keras风格）
def multilayer_perceptron():
    inputs = tf.keras.Input(shape=(n_input,))
    # 隐藏层：权重用GlorotUniform（原Xavier）初始化，偏置用零初始化
    x = tf.keras.layers.Dense(n_hidden_1, activation='relu',
                              kernel_initializer=tf.initializers.GlorotUniform(),
                              bias_initializer='zeros')(inputs)
    x = tf.keras.layers.Dense(n_hidden_2, activation='relu',
                              kernel_initializer=tf.initializers.GlorotUniform(),
                              bias_initializer='zeros')(x)
    x = tf.keras.layers.Dense(n_hidden_3, activation='relu',
                              kernel_initializer=tf.initializers.GlorotUniform(),
                              bias_initializer='zeros')(x)
    # 输出层：无激活函数，对应原logits输出
    outputs = tf.keras.layers.Dense(n_classes,
                                    kernel_initializer=tf.initializers.GlorotUniform(),
                                    bias_initializer='zeros')(x)
    return tf.keras.Model(inputs=inputs, outputs=outputs)

# 自定义加权交叉熵损失（对齐原TF1逻辑）
def weighted_cross_entropy_loss(y_true, y_pred):
    loss_weights = tf.constant([0.8, 1.2, 1.1, 1.05, 1.1], dtype=tf.float32)
    # 调整权重维度与标签匹配
    pos_weight = tf.broadcast_to(loss_weights, tf.shape(y_true))
    loss = tf.nn.weighted_cross_entropy_with_logits(logits=y_pred, targets=y_true, pos_weight=pos_weight)
    return tf.reduce_mean(loss)

# 构建并编译模型
model = multilayer_perceptron()
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=learning_rate),
              loss=weighted_cross_entropy_loss,
              metrics=['accuracy'])

# 训练（替换为你的数据加载逻辑）
# model.fit(X_train, Y_train, epochs=50, batch_size=32, validation_split=0.1)

# 评估模型
# test_loss, test_acc = model.evaluate(X_test, Y_test)
# print(f"Test Accuracy: {test_acc:.2f}")

额外验证步骤 #

1. 数据一致性检查：确保TF2中加载的训练/测试数据与TF1完全相同，包括归一化范围、标签one-hot编码方式、数据顺序。
2. 初始化复现：设置与原TF1相同的随机种子，确保初始化结果一致：

   tf.random.set_seed(42)  # 替换为原TF1代码使用的随机种子
   

3. 损失函数验证：对比TF1和TF2中相同输入下的损失值，确认损失计算逻辑一致。

内容的提问来源于stack exchange，提问作者brangalang