Keras神经网络多输入类型处理咨询：CNN融合数值输入方案

Hey there! 针对你想用图片+温度/湿度/季节来预测拍摄地点经纬度的需求，我来分享一些实际项目里验证过的方案和思路：

一、先搞定数值/类别特征的编码 #

这一步是基础，不同类型的特征处理方式完全不一样，千万别直接喂原始数据：

• 温度、湿度：属于连续数值特征，建议先做标准化（StandardScaler）或者归一化（MinMaxScaler），把数值缩放到0-1或者均值为0、方差为1的范围。不然温度（比如0-40）和湿度（0-100）的数值范围差异会让模型不自觉偏向大数值特征，影响最终效果。
• 季节：属于类别特征，必须做编码处理：
  • 如果是有明确顺序的类别（比如春夏秋冬按季节流转顺序），可以用序数编码（Ordinal Encoding），比如春=0、夏=1、秋=2、冬=3；
  • 如果是无序类别（比如季节之间没有优先级），更推荐独热编码（One-Hot Encoding），把季节转换成4维的二进制向量（比如春=[1,0,0,0]），避免模型错误学习到不存在的顺序关系（比如认为春<夏，而实际上两者只是不同类别）。

二、特征融合的两种主流方案 #

1. 在全连接层末端融合（最常用、易实现，推荐优先尝试） #

这是我在绝大多数多模态融合项目里首选的方案，步骤清晰，效果稳定：

• 用预训练的CNN（比如ResNet、VGG、EfficientNet）提取图片的高层特征，把CNN的最后一层全连接层去掉，通过全局平均池化得到一个固定维度的图片特征向量（比如ResNet50去掉fc层后是2048维）；
• 把处理好的数值/类别特征拼接成一个紧凑的向量（比如标准化后的温度+湿度+独热编码的季节，总共2+4=6维）；
• 把图片特征向量和数值特征向量直接拼接，然后送入几个全连接层做最终的回归任务（预测经纬度属于连续值回归问题）。

这种方式的核心优势：

• 不用修改CNN的核心结构，复用预训练权重非常方便，大大降低训练难度和计算成本；
• 图片特征已经被CNN提取到高层语义（比如场景、植被、建筑风格），和数值特征在同一抽象层面融合，模型更容易学习到两者的关联。

给你一段简化的Keras伪代码参考：

# 构建图片特征提取分支
cnn_backbone = ResNet50(weights='imagenet', include_top=False, input_shape=(224,224,3))
image_features = GlobalAveragePooling2D()(cnn_backbone.output)  # 得到2048维向量

# 构建数值/类别特征分支
temp_input = Input(shape=(1,))
humidity_input = Input(shape=(1,))
season_input = Input(shape=(4,))  # 独热编码后的季节特征
numeric_features = Concatenate(axis=-1)([temp_input, humidity_input, season_input])

# 融合两个分支的特征
combined_features = Concatenate(axis=-1)([image_features, numeric_features])

# 后续全连接层做回归预测
x = Dense(512, activation='relu', kernel_regularizer=l2(1e-4))(combined_features)
x = Dropout(0.3)(x)
x = Dense(256, activation='relu', kernel_regularizer=l2(1e-4))(x)
output = Dense(2)(x)  # 输出维度为2，对应经度和纬度

# 定义完整模型
model = Model(inputs=[cnn_backbone.input, temp_input, humidity_input, season_input], outputs=output)

2. 在CNN初始阶段融合（适合特定场景，进阶尝试） #

如果你发现数值特征和图片内容强相关（比如季节直接影响植被颜色、积雪覆盖，温度影响作物长势），可以尝试在CNN的浅层或者中层融合数值特征，但这种方式实现起来更复杂：

• 需要把数值特征转换成和当前CNN特征图维度匹配的张量，比如把数值特征重复成和图片特征图一样的高度、宽度，然后在通道维度拼接；
• 这种方式通常需要从头训练CNN（或者大幅微调预训练模型的前几层），因为预训练权重是针对纯图片数据的，加入数值特征后需要重新适配；
• 好处是让数值特征更早参与图片特征的提取过程，帮助CNN捕捉到更细粒度的关联，但如果特征之间相关性弱，反而可能干扰CNN的正常特征提取，导致效果下降。

三、额外实践小贴士 #

• 训练时可以固定CNN backbone的前几层权重，只微调后几层和全连接层，避免预训练的图片特征被破坏；
• 对于经纬度预测的回归任务，损失函数优先用MSE（均方误差），如果 outliers 比较多，可以换成MAE（平均绝对误差），或者尝试Huber损失（兼顾MSE和MAE的优点）；
• 如果数据量不大，一定要加正则化（比如L2正则、Dropout），避免模型过拟合。

内容的提问来源于stack exchange，提问作者user3029296