TensorFlow 2D CNN训练语音情感识别模型时输入层不兼容报错

开发者阿泽

2026-9-1

问题原因

你遇到的所有报错都来自代码里的逻辑错误，和语谱图输入形状本身无关：

tf.data.Dataset的shuffle、batch方法不会原地修改数据集，只会返回新的数据集对象。你代码里调用这两个方法后没有赋值回变量，导致训练集根本没有做分批、打乱操作，输入模型的是单个3维语谱图张量，和模型要求的(批次大小, 频率bin数, 时间帧数, 通道数)4维输入不匹配，触发第一个形状不兼容报错。
你手动给语谱图增加了一个维度，把单样本变成了5维张量，而Resizing层仅支持3维（单张图像）或4维（分批后的图像）输入，直接触发维度错误。
语谱图读取函数里的重塑逻辑索引写错：注释里说明np.load读取的原始语谱图形状是(1, 频率行数, 时间列数)，但你重塑时用了前两个维度，会把语谱图形状错误压缩成(1, 频率行数, 1)，完全丢失时间维度信息，后续训练时会触发索引越界错误。
模型结构配置错误：softmax激活函数是用来输出分类概率的，应该放在最后一层对应情感分类数的全连接层上，你放在了中间128维的全连接层，会导致特征提取完全失效。

修复方案

按以下步骤修改代码即可解决所有问题：

所有数据集变换操作（shuffle、batch、cache、prefetch）的返回值必须重新赋值给数据集变量；shuffle操作要放在拆分训练/验证/测试集之前执行，避免数据泄露。
修正语谱图重塑逻辑：去掉手动添加的多余维度，把读取到的(1, 行, 列)形状语谱图正确重塑为(行, 列, 1)的单通道图像格式，不需要手动加批次维度，batch操作会自动补充批次维度。
模型输入层直接指定单样本语谱图的形状即可，不需要从数据集中动态获取（避免未分批时取到错误形状）；修正全连接层的激活函数配置，中间隐层用relu激活，最后分类层用softmax输出各情感类别的概率。

修正后的可运行代码

import tensorflow as tf
from tensorflow.keras import layers, models
import numpy as np

# 构建文件名-标签数据集
specgram_files_and_labels_dataset = tf.data.Dataset.from_tensor_slices((specgram_files, labels))

def read_npy_file(data):
    # 读取npy格式的语谱图文件
    data = np.load(data.item().decode())
    # 原始形状为(1, 频率bin数, 时间帧数)，重塑为(频率bin数, 时间帧数, 1)单通道格式
    data = np.reshape(data, (data.shape[1], data.shape[2], 1))
    return data.astype(np.float32)

specgram_dataset = specgram_files_and_labels_dataset.map(
                    lambda file, label: tuple([tf.numpy_function(read_npy_file, [file], [tf.float32]), label]),
                    num_parallel_calls=tf.data.AUTOTUNE)

# 数据集拆分（先打乱再拆分，避免数据泄露）
num_files = len(train_df)
num_train = int(0.8 * num_files)
num_val = int(0.1 * num_files)
num_test = num_files - num_train - num_val

specgram_dataset = specgram_dataset.shuffle(buffer_size=1000) # 赋值返回的打乱后数据集
specgram_train_ds = specgram_dataset.take(num_train)
specgram_test_ds = specgram_dataset.skip(num_train)
specgram_val_ds = specgram_test_ds.take(num_val)
specgram_test_ds = specgram_test_ds.skip(num_val)

batch_size = 32
# 赋值返回的分批后数据集
specgram_train_ds = specgram_train_ds.batch(batch_size)
specgram_val_ds = specgram_val_ds.batch(batch_size)
specgram_test_ds = specgram_test_ds.batch(batch_size)

specgram_train_ds = specgram_train_ds.cache().prefetch(tf.data.AUTOTUNE)
specgram_val_ds = specgram_val_ds.cache().prefetch(tf.data.AUTOTUNE)
specgram_test_ds = specgram_test_ds.cache().prefetch(tf.data.AUTOTUNE)

num_emotions = len(train_df["emotion"].unique())
# 直接指定单样本输入形状，对应语谱图尺寸
model = models.Sequential([
    layers.Input(shape=(257, 1001, 1)),
    layers.Resizing(32, 128),
    layers.Conv2D(32, 3, activation="relu"),
    layers.MaxPooling2D(),
    layers.Conv2D(64, 3, activation="relu"),
    layers.MaxPooling2D(),
    layers.Flatten(),
    layers.Dense(128, activation="relu"), # 隐层用relu激活
    layers.Dense(num_emotions, activation="softmax") # 最后分类层用softmax输出概率
])

model.compile(
    optimizer=tf.keras.optimizers.Adam(0.001), # 原学习率0.01偏高，调整为常用值避免训练震荡
    loss=tf.keras.losses.SparseCategoricalCrossentropy(),
    metrics=["accuracy"]
)

EPOCHS = 10

model.fit(
    specgram_train_ds,
    validation_data=specgram_val_ds,
    epochs=EPOCHS,
    callbacks=tf.keras.callbacks.EarlyStopping(verbose=1, patience=2)
)

内容的提问来源于stack exchange，提问作者AlePouroullis