使用Keras Functional API与tf.Dataset实现多输出回归解决符号张量错误

问题场景 #

• 任务目标：搭建输入为图像、输出64个独立浮点数的多输出神经网络
• 实现流程：
  • 用Pandas DataFrame存储图像路径与64维目标值
  • 通过tf.data.Dataset.from_tensor_slices构建训练集，经map读取预处理图像后做shuffle和batch操作
  • 基于MobileNetV2预训练模型构建网络，每个输出对应一个独立Dense层（共64个），编译时为每个输出指定loss和metrics
• 触发错误：训练时抛出Iterating over a symbolic tf.Tensor is not allowed，尝试将Dataset转为numpy数组训练仍报错，仅在model.fit()中手动为每个输出指定对应标签列时才能正常运行，确认问题出在tf.data.Dataset的构建方式上

问题根源 #

多输出模型要求输入的标签数据结构必须和模型输出结构完全匹配。如果你的Dataset把64维目标值作为单个张量传入，模型在尝试把这个张量分配给64个独立输出节点时，会试图遍历这个符号张量，这在TensorFlow的计算图模式下是不允许的，从而触发该错误。

解决方案 #

1. 调整tf.data.Dataset的标签格式 #

构建Dataset时，把64维目标值拆成字典或元组，每个键/元素对应模型的一个输出节点。假设你的DataFrame里图像路径列是img_path，目标列是target_0到target_63：

import tensorflow as tf
import pandas as pd

# 加载数据
df = pd.read_csv("your_data.csv")

# 定义数据解析函数：读取图像并返回拆分后的标签
def parse_img_and_labels(img_path, *targets):
    # 读取、预处理图像（适配MobileNetV2要求）
    img = tf.io.read_file(img_path)
    img = tf.image.decode_jpeg(img, channels=3)
    img = tf.image.resize(img, (224, 224))
    img = tf.keras.applications.mobilenet_v2.preprocess_input(img)
    # 返回图像和标签字典（键名要和模型输出层名称对应）
    return img, {f"output_{i}": targets[i] for i in range(64)}

# 从DataFrame构建Dataset：取出图像路径和所有目标列
train_dataset = tf.data.Dataset.from_tensor_slices(
    (df["img_path"].values, [df[f"target_{i}"].values for i in range(64)])
)
# 映射解析函数，并行处理+预取优化
train_dataset = train_dataset.map(parse_img_and_labels, num_parallel_calls=tf.data.AUTOTUNE)
train_dataset = train_dataset.shuffle(1000).batch(32).prefetch(tf.data.AUTOTUNE)

2. 确保模型输出层命名与标签字典匹配 #

搭建模型时，给每个Dense输出层指定明确的名称，和标签字典的键一一对应：

# 加载MobileNetV2预训练模型，去掉顶层分类层
base_model = tf.keras.applications.MobileNetV2(
    input_shape=(224, 224, 3), include_top=False, pooling="avg"
)
base_model.trainable = False  # 先冻结预训练层

# 构建模型输入与特征提取
inputs = tf.keras.Input(shape=(224, 224, 3))
x = base_model(inputs, training=False)

# 创建64个独立输出层，每个对应一个目标值
outputs = []
for i in range(64):
    # 输出层名称要和标签字典的键一致
    output = tf.keras.layers.Dense(1, name=f"output_{i}")(x)
    outputs.append(output)

model = tf.keras.Model(inputs=inputs, outputs=outputs)

3. 编译与训练 #

编译时为每个输出指定loss和metrics，训练时直接传入处理好的Dataset即可：

# 构建loss字典，每个输出对应MSE（可根据任务调整为其他loss）
loss_config = {f"output_{i}": "mse" for i in range(64)}
# 构建metrics字典，每个输出指定评估指标
metrics_config = {f"output_{i}": ["mae"] for i in range(64)}

model.compile(optimizer="adam", loss=loss_config, metrics=metrics_config)

# 直接训练，无需手动指定标签列
model.fit(train_dataset, epochs=10)

核心注意点 #

• 多输出模型的标签结构必须和模型输出结构严格对齐：如果模型输出是列表/元组，标签也要是对应长度的列表/元组；如果是字典，标签也要是键名匹配的字典。
• 绝对不能把64维目标值作为单个张量传入Dataset，否则模型无法自动分配到多个输出节点，进而触发遍历符号张量的错误。

内容的提问来源于stack exchange，提问作者Samael