Keras训练Sequential模型报输入形状不兼容ValueError求助

报错内容 #

运行音频分类模型训练时抛出如下错误：

ValueError: Input 0 of layer sequential_5 is incompatible with the layer: expected axis -1 of input shape to have value 20 but received input with shape (None, 20, 637)

现有信息 #

• 数据集维度
  维度打印代码：

  print(str(audio_train.shape)+''+str(y_train.shape)+''+str(audio_valid.shape))
  

  输出：(700, 20, 637) (700, 2) (236, 20, 637)，即训练集共700个样本，单样本形状为(20,637)；验证集共236个样本，标签均为2分类one-hot格式。
• 模型核心代码

  model=Sequential()
  ###first layer
  model.add(Dense(100,input_shape=(20,)))
  model.add(Activation('relu'))
  model.add(Dropout(0.3))
  ###second layer
  model.add(Dense(200))
  model.add(Activation('relu'))
  model.add(Dropout(0.3))
  ###third layer
  model.add(Dense(100))
  model.add(Activation('relu'))
  model.add(Dropout(0.3))
  ###final layer
  model.add(Dense(2))
  model.add(Activation('softmax'))
  
  adam = tf.keras.optimizers.Adam(learning_rate=0.0001)
  model.compile(optimizer = adam, loss = 'categorical_crossentropy', metrics = ['accuracy'])
  Au_model = model.fit(audio_train, y_train, batch_size = 32, epochs = 10, validation_data = (audio_valid, y_valid), verbose=1)
  

• 完整报错栈

  ValueError: in user code:
  
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\keras\engine\training.py:855 train_function  *
      return step_function(self, iterator)
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\keras\engine\training.py:845 step_function  **
      outputs = model.distribute_strategy.run(run_step, args=(data,))
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\distribute\distribute_lib.py:1285 run
      return self._extended.call_for_each_replica(fn, args=args, kwargs=kwargs)
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\distribute\distribute_lib.py:2833 call_for_each_replica
      return self._call_for_each_replica(fn, args, kwargs)
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\distribute\distribute_lib.py:3608 _call_for_each_replica
      return fn(*args, **kwargs)
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\keras\engine\training.py:838 run_step  **
      outputs = model.train_step(data)
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\keras\engine\training.py:795 train_step
      y_pred = self(x, training=True)
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\keras\engine\base_layer.py:1013 __call__
      input_spec.assert_input_compatibility(self.input_spec, inputs, self.name)
  C:\Users\seren\anaconda3\lib\site-packages\tensorflow\python\keras\engine\input_spec.py:251 assert_input_compatibility
      raise ValueError(
  
  ValueError: Input 0 of layer sequential_5 is incompatible with the layer: expected axis -1 of input shape to have value 20 but received input with shape (None, 20, 637)
  

报错根因 #

模型定义的输入形状和实际传入的数据集形状完全不匹配：

• 第一层Dense层设置input_shape=(20,)，要求输入单样本最后一维长度为20
• 实际传入的音频数据单样本形状为(20,637)，最后一维长度为637，维度校验直接失败。
  额外问题：纯Dense全连接网络没有时序特征提取能力，直接处理(20,637)这类二维音频时序特征（通常是分帧提取的频谱/MFCC特征）的分类效果会很差。

修复方案 #

根据实际需求三选一即可：

• 方案1：最小改动适配现有数据，保留全连接结构
  先将二维输入特征展平为一维向量，把第一层代码替换为如下内容，注意提前导入Flatten层：

  from tensorflow.keras.layers import Flatten
  ###first layer
  model.add(Flatten(input_shape=(20,637))) # 将(20,637)的二维特征展平为长度12740的一维向量
  model.add(Dense(100))
  model.add(Activation('relu'))
  model.add(Dropout(0.3))
  

  该方案改动能最快跑通训练，但分类精度普遍不高。
• 方案2：更换适配时序特征的网络结构，提升分类效果
  用1D卷积或者LSTM层处理音频时序特征，参考示例：

  from tensorflow.keras.layers import Conv1D, GlobalMaxPooling1D
  model=Sequential()
  # 1D卷积提取时序局部特征
  model.add(Conv1D(32, kernel_size=3, activation='relu', input_shape=(20,637)))
  model.add(Conv1D(64, kernel_size=3, activation='relu'))
  model.add(GlobalMaxPooling1D()) # 池化降维
  model.add(Dropout(0.3))
  model.add(Dense(100, activation='relu'))
  model.add(Dropout(0.3))
  model.add(Dense(2, activation='softmax'))
  

  该方案对音频特征的拟合能力远强于纯全连接网络，是更推荐的做法。
• 方案3：调整数据预处理逻辑，匹配原模型输入
  如果原模型设计的输入确实是长度为20的特征，说明之前的特征提取步骤不符合预期，需要重新处理audio_train、audio_valid，通过特征降维、调整分帧参数等方式，把单样本特征形状处理为(20,)，最终数据集形状变为(样本数, 20)即可直接用原代码训练。

内容的提问来源于stack exchange，提问作者Serena Taylor