基于TensorFlow 2.0实现聚合器神经网络遇数据基数不匹配错误求助

错误根源 #

触发ValueError的核心原因是Keras默认要求输入与输出的样本数量严格一致：你的输入X/Y包含10个样本，而输出Z仅对应4个类别，这种多对一的聚合逻辑无法被model.fit的默认数据校验流程识别。

解决方案1：使用tf.data.Dataset重组数据 #

由于模型基于Deep Sets的类别聚合逻辑，需将数据按类别分组，构建「类别输入向量组 + 类别标签序列 + 类别输出向量」的样本结构，再通过tf.data.Dataset处理变长输入：

1. 按类别分组输入数据 #

# 按Y中的类别标签分组X
grouped_X = []
for cls_idx in range(m):
    cls_X = X[Y == cls_idx]
    grouped_X.append(cls_X)

2. 构建适配模型的数据集 #

通过from_tensor_slices构造数据集，并映射生成模型所需的输入格式（每个类别对应的X向量组，以及与X长度匹配的类别标签序列）：

# 构造基础数据集：(类别X组, 类别索引, 类别输出Z)
dataset = tf.data.Dataset.from_tensor_slices((grouped_X, np.arange(m), Z))

# 映射生成模型可接收的输入格式
def format_sample(cls_X, cls_label, cls_Z):
    # 生成与X向量数量匹配的类别标签序列，用于segment_sum
    cls_Y = tf.fill((tf.shape(cls_X)[0],), cls_label)
    return (cls_X, cls_Y), cls_Z

# 处理数据集：打乱+批量（此处单样本批量适配变长输入）
dataset = dataset.map(format_sample).shuffle(m).batch(1)

3. 训练模型 #

直接使用构造好的数据集启动训练：

model.compile(loss=tf.keras.losses.CosineSimilarity(axis=1), optimizer=tf.keras.optimizers.Adam())
model.fit(dataset, epochs=10)

解决方案2：自定义训练循环 #

若无需依赖Keras的fit流程，可手动实现训练循环，直接按类别遍历计算损失并更新梯度：

optimizer = tf.keras.optimizers.Adam()
loss_fn = tf.keras.losses.CosineSimilarity(axis=1)

# 定义训练步骤
@tf.function
def train_step(cls_X, cls_Y, cls_Z):
    with tf.GradientTape() as tape:
        pred_Z = model((cls_X, cls_Y))
        loss = loss_fn(cls_Z, pred_Z)
    gradients = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))
    return loss

# 启动训练
for epoch in range(10):
    total_loss = 0.0
    for cls_idx in range(m):
        cls_X = X[Y == cls_idx]
        cls_Y = tf.fill((cls_X.shape[0],), cls_idx)
        cls_Z = Z[cls_idx:cls_idx+1]  # 保持输出形状与预测一致
        loss = train_step(cls_X, cls_Y, cls_Z)
        total_loss += loss.numpy()
    print(f"Epoch {epoch+1}, Average Loss: {total_loss/m:.4f}")

验证模型效果 #

训练完成后，可验证输出形状是否符合预期：

pred_Z = model((X, Y))
print("预测输出形状:", pred_Z.shape)  # 输出应为(4, 3)，与目标Z形状一致

内容的提问来源于stack exchange，提问作者Nitesh Kumar