如何在Keras函数式API中构建权重共享的神经网络及解决训练时的形状不兼容错误

看起来你在实现权重共享的过程中，核心问题是错误地对batch维度（张量的第0轴）进行了切片，而非特征维度（第1轴），导致后续的形状不匹配错误。让我一步步拆解问题，然后给出正确的实现方案。

错误原因分析 #

1. 第一个错误：feature_input[i :: 4] #

在Keras中，输入张量的形状是(None, 12)，其中None代表动态的batch大小。当你写feature_input[i :: 4]时，你是在对**batch维度（第0轴）**进行切片，也就是从第i个样本开始，每隔4个取一个样本。这会导致每个循环分支输出的张量batch大小不一致（比如batch为32时，切片后可能得到8个样本，而另一个分支可能得到7个），拼接时就会抛出维度不匹配的错误。

2. 第二个错误：feature_input[i :12: 4] #

这个写法同样是对batch维度切片，取了batch中第i到第12个样本（步长4），导致该分支的输出形状是[4,1]（假设取了4个样本），而标签的形状是[32,1]（完整batch），计算损失时就会出现形状不兼容的错误。

正确实现方案 #

你的权重共享思路是对的：只定义一次dense1和dense2，循环中重复调用它们就能实现权重共享。问题出在特征切片的方式上，我们需要对**特征维度（第1轴）**进行切片，而非batch维度。

修正后的完整代码 #

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
import numpy as np  # 补充缺失的numpy导入

# 示例训练数据
example_train_features = np.arange(12000).reshape(1000, 12)
example_labels = np.random.randint(2, size=1000)
train_ds = tf.data.Dataset.from_tensor_slices((example_train_features, example_labels)).shuffle(buffer_size=1000).batch(32)
# 示例验证数据（补充你缺失的val_ds定义）
val_ds = tf.data.Dataset.from_tensor_slices((example_train_features[-200:], example_labels[-200:])).batch(32)

# 定义共享的层：只初始化一次，循环中复用实现权重共享
dense1 = layers.Dense(1, activation="relu")  # 输入shape=(4,)，对应每组4个特征
dense2 = layers.Dense(2, activation="relu")  # 输入shape=(1,)
dense3 = layers.Dense(1, activation="sigmoid")  # 输入shape=(6,)：3个分支各输出2维，拼接后为6维

feature_input = keras.Input(shape=(12,), name="features")
nodes_list = []

for i in range(3):
    # 对特征维度（第1轴）切片：每组取4个连续特征
    # 第0组：索引0-3，第1组：4-7，第2组：8-11
    first_lvl_input = feature_input[:, 4*i : 4*(i+1)]
    out1 = dense1(first_lvl_input)
    out2 = dense2(out1)
    nodes_list.append(out2)

# 拼接3个分支的输出
joined = layers.concatenate(nodes_list)
final_output = dense3(joined)

model = keras.Model(inputs=feature_input, outputs=final_output, name="extrema_model")

# 编译并训练（调整了你的编译顺序，避免重复编译）
model.compile(
    loss=tf.keras.losses.BinaryCrossentropy(),
    optimizer=tf.keras.optimizers.RMSprop(),
    metrics=[keras.metrics.BinaryAccuracy()]
)
history = model.fit(train_ds, epochs=10, validation_data=val_ds)

关键说明 #

1. 特征切片正确姿势：
   使用feature_input[:, 4*i : 4*(i+1)]，第一个冒号表示保留所有batch样本，第二个切片操作针对特征维度（第1轴），这样每个分支的输入形状是(None,4)，完全符合dense1的输入要求。

2. 权重共享的正确性：
   由于dense1和dense2只初始化了一次，循环中每次调用都会复用同一个层的权重参数。训练时，每个分支的反向传播都会更新同一组权重，实现了你需要的“同名权重始终保持相同值”的目标。

3. 额外修正：

   • 补充了缺失的numpy导入；
   • 补充了val_ds的示例定义；
   • 调整了编译和训练的顺序，避免重复编译模型。

可选：如果你的分组逻辑是按步长取特征 #

如果你确实想按步长4抽取特征（比如每组3个特征：0,4,8；1,5,9；2,6,10），那么需要调整dense1的输入适配3维特征，切片代码改为：

first_lvl_input = feature_input[:, i::4]

同时注意dense1的输入shape变为(3,)，这样代码也能正常运行，但要确保这个分组逻辑符合你的模型设计。

内容的提问来源于stack exchange，提问作者Sina Meftah