Tensorflow中使用DENet算法出现输入形状不兼容问题如何解决

问题原因 #

你遇到的报错核心是DENet要求的输入维度和你传入的维度不匹配：根据示例定义，DENet接收的输入形状为(seq_len, samples, 1)，是不含batch维度的三维结构，而你传入的(6985,40)是二维结构，缺少序列长度维度和通道维度，因此触发了输入张量需要3阶的报错。

具体调整步骤 #

1. 拆分音频为序列帧
   DENet是面向序列帧设计的模型，你需要先将现有的连续音频特征切分为固定长度的序列，可根据任务需求自定义序列长度seq_len（可参考示例设置为10）。假设你的X_train中第一维是总帧数，第二维40是单帧的特征维度，就可以用滑动窗口的方式切分连续的seq_len个帧为一个样本。
2. 补全通道维度
   单声道音频的通道数为1，需要在特征最后一维增加通道维度，匹配模型要求。

代码示例 #

import numpy as np

# 自定义序列长度，可根据任务调整
seq_len = 10
# 单帧特征维度，你当前数据为40
feature_dim = 40
# 滑动窗口切分序列样本
total_frames = X_train.shape[0]
sample_count = total_frames - seq_len + 1
processed_X = np.zeros((sample_count, seq_len, feature_dim))
for idx in range(sample_count):
    processed_X[idx] = X_train[idx:idx+seq_len]
# 新增单通道维度
processed_X = np.expand_dims(processed_X, axis=-1)
# 传入模型的input_shape设置为
input_shape = (seq_len, feature_dim, 1)
# 你使用Librosa默认采样率22050，sr参数直接传22050即可
model = get_denet(input_shape, n_classes, sr=22050, before_pooling=False)

注意事项 #

• 如果你当前X_train的第一维是样本数，第二维是总特征长度，需要先将总特征长度拆分为seq_len * 单帧样本数的结构，再按上述方法调整维度
• 若你手动修改了Librosa的输出采样率，sr参数要同步修改为你实际使用的采样率

内容的提问来源于stack exchange，提问作者Engr.Double_minded