CNN视频分类模型输入形状不兼容错误解决求助

核心问题 #

你遇到的错误源于两个关键问题：

1. 输入形状不匹配：模型定义的input_shape=(18,40,1)表示每个样本是18×40的单通道2D数据，但你的输入X形状是(18,40)——这里18是样本总数，每个样本仅40维一维特征，和模型预期完全不符。
2. 模型结构缺失：CNN层（Conv2D/MaxPooling2D）输出的是3D张量（样本数×高度×宽度×通道数），直接连接Dense层会导致维度不兼容，必须添加Flatten层将3D张量展平为2D特征向量。

针对性解决方案 #

方案一：改用全连接网络（推荐，适合一维特征） #

如果你的图像、音频、文本特征拼接后是每个样本40维的一维向量，CNN并非最优选择，直接使用全连接网络更合理：

from keras.models import Sequential
from keras.layers import Dense

model = Sequential()
# 输入形状为每个样本的特征维度：(40,)
model.add(Dense(24, activation='relu', input_shape=(40,)))
model.add(Dense(2, activation='softmax'))

# 编译模型（需补充此步骤）
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

# 直接用原数据训练
model.fit(X, y, epochs=2)

方案二：调整数据形状适配CNN（若必须用CNN） #

如果你坚持使用CNN，需要将一维特征转换为模型预期的2D结构，并修正模型结构：

步骤1：调整输入数据形状

将每个40维的一维特征转换为单通道2D结构（比如40×1），并扩展通道维度：

import numpy as np
# 原X形状：(18,40) → 转换为(样本数, 高度, 宽度, 通道数) = (18,40,1,1)
X = X.reshape((18, 40, 1, 1))

步骤2：修正模型结构（添加Flatten层）

from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense

model = Sequential()
# 对应调整后的输入形状：(40,1,1)
model.add(Conv2D(filters=12, kernel_size=(3,3), activation='relu', input_shape=(40,1,1)))
model.add(MaxPooling2D((2,2)))
# 添加Flatten层，将3D张量展平为2D特征向量
model.add(Flatten())
model.add(Dense(24, activation='relu'))
model.add(Dense(2, activation='softmax'))

# 编译模型
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

# 训练
model.fit(X, y, epochs=2)

额外注意事项 #

• 确认图像、音频、文本特征拼接维度正确：假设每个模态的特征都是(18, N)，拼接后应为(18, N1+N2+N3)= (18,40)，目前你的拼接逻辑是正确的。
• 标签y形状是(18,)，属于稀疏标签，因此编译模型时需使用loss='sparse_categorical_crossentropy'；如果是one-hot编码的标签，则改用categorical_crossentropy。

内容的提问来源于stack exchange，提问作者SWAMI NATHAN