TensorFlow多输入处理：含额外数值的CNN实现方法咨询

嘿，这个需求在多模态任务里特别常见，我来给你详细讲讲怎么在TensorFlow（尤其是用Keras API）里实现。核心思路就是构建两个独立的分支：一个处理图像的CNN分支，另一个处理数值数据的分支，然后在合适的位置把它们的特征拼接起来，再继续后续的全连接层训练。

两种常见的融合位置 #

1. 在CNN最后池化层的展平节点后直接拼接 #

这是最直接的方式，把图像经过卷积、池化后展平的特征，和预处理后的数值特征直接拼接，再送入全连接层。

2. 先对数值特征做简单处理（比如加个小全连接层）再拼接 #

如果你的数值特征维度和图像展平后的特征维度差异很大，或者想让数值特征先做一些特征转换，可以先给数值分支加1-2个全连接层，再和图像分支的特征拼接，这样融合效果可能更好。

完整代码示例 #

我用MNIST风格的图像输入（28x28灰度图）+ 5维数值特征来举例子，你可以根据自己的数据集调整参数：

import tensorflow as tf
from tensorflow.keras import layers, Model

# ---------------------- 1. 构建图像CNN分支 ----------------------
# 图像输入：假设是28x28的灰度图，你可以改成自己的图像尺寸和通道数
image_input = layers.Input(shape=(28, 28, 1), name='image_input')

# 卷积+池化层，根据你的需求调整层数、滤波器数量、核大小
x = layers.Conv2D(32, (3, 3), activation='relu')(image_input)
x = layers.MaxPooling2D((2, 2))(x)
x = layers.Conv2D(64, (3, 3), activation='relu')(x)
x = layers.MaxPooling2D((2, 2))(x)
# 展平卷积后的特征
flattened_image = layers.Flatten(name='flattened_image')(x)

# ---------------------- 2. 构建数值输入分支 ----------------------
# 数值输入：假设每张图像对应5个独有的数值特征
numeric_input = layers.Input(shape=(5,), name='numeric_input')

# 可选：如果需要对数值特征做预处理或特征转换，加个小全连接层
# 不需要的话可以直接用numeric_input作为分支输出
processed_numeric = layers.Dense(16, activation='relu')(numeric_input)

# ---------------------- 3. 拼接两个分支的特征 ----------------------
# 这里可以选直接拼接flattened_image和numeric_input，或者和processed_numeric
concatenated_features = layers.concatenate([flattened_image, processed_numeric])

# ---------------------- 4. 后续全连接层与输出层 ----------------------
# 根据你的任务分类/回归调整输出层的激活函数和单元数
fc1 = layers.Dense(64, activation='relu')(concatenated_features)
output = layers.Dense(10, activation='softmax', name='output')(fc1)

# ---------------------- 5. 定义完整模型 ----------------------
model = Model(inputs=[image_input, numeric_input], outputs=output)
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 打印模型结构，确认融合位置是否正确
model.summary()

训练时的数据输入方式 #

训练的时候，你需要把图像数据和对应的数值数据一起喂给模型，常见的两种方式：

方式1：用tf.data.Dataset打包数据 #

如果你的数据是numpy数组，可以这样打包：

# 假设你有：
# images: (num_samples, 28, 28, 1) 的图像数组
# numeric_data: (num_samples, 5) 的数值数组
# labels: (num_samples,) 的标签数组

dataset = tf.data.Dataset.from_tensor_slices(({'image_input': images, 'numeric_input': numeric_data}, labels))
dataset = dataset.batch(32).shuffle(1000)

# 开始训练
model.fit(dataset, epochs=10)

方式2：直接传入列表形式的输入 #

model.fit([images, numeric_data], labels, epochs=10, batch_size=32)

注意事项 #

• 数值特征预处理：一定要对数值数据做标准化（比如StandardScaler），因为图像数据一般会归一化到0-1之间，数值特征如果尺度差异大，会严重影响模型训练效果。
• 分支特征维度匹配：如果觉得拼接后的特征维度太大/太小，可以调整CNN分支的滤波器数量，或者数值分支的全连接层单元数，让两个分支的特征维度尽量均衡，融合效果会更好。
• 任务适配：如果是回归任务，把输出层改成Dense(1, activation='linear')，损失函数换成mse即可。

内容的提问来源于stack exchange，提问作者Bastian