基于Keras的音频神经网络入门：数据向量化与卷积方案对比

首先，咱们来快速解决你遇到的报错：你设置的input_shape=processed_audio.shape是(1, 1018624)，但Keras的Dense层在接收批量输入时，会自动把第一个维度当作批量大小，所以你只需要指定单条音频的特征维度，也就是(1018624,)就行。这就是为什么报错说期望3维输入——因为模型误以为你要的是(批量数, 特征数1, 特征数2)的3维输入，但你的数据是2维的(1, 1018624)。

完整可运行的Kaggle适配示例 #

下面是一个能处理多音频文件的端到端示例，适配Kaggle的环境结构，包含数据加载、预处理、模型构建和训练：

import os
import numpy as np
import scipy.io.wavfile
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.optimizers import SGD
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
from keras.utils import to_categorical

# 配置Kaggle数据集路径
train_dir = '../input/traditional-flute-dataset/audio'

# 加载所有音频文件和标签
audio_data = []
labels = []

# 假设所有文件都是长笛音频，实际可以按文件夹/文件名区分标签
for filename in os.listdir(train_dir):
    if filename.endswith('.wav'):
        file_path = os.path.join(train_dir, filename)
        rate, audio = scipy.io.wavfile.read(file_path)
        # 统一音频长度（这里取固定长度裁剪/填充，可根据需求调整）
        audio = audio.astype(np.float32) / np.max(np.abs(audio))  # 归一化到[-1,1]
        target_len = 1000000
        if len(audio) > target_len:
            audio = audio[:target_len]
        else:
            audio = np.pad(audio, (0, target_len - len(audio)), mode='constant')
        audio_data.append(audio)
        labels.append('flute')  # 实际项目中替换成真实标签

# 转换为numpy数组
X = np.array(audio_data)
y = np.array(labels)

# 标签编码（分类任务必备）
le = LabelEncoder()
y_encoded = le.fit_transform(y)
y_categorical = to_categorical(y_encoded)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y_categorical, test_size=0.2, random_state=42)

# 构建模型
model = Sequential()
# 输入形状是单条音频的特征数：(1000000,)
model.add(Dense(64, activation='relu', input_shape=(X_train.shape[1],)))
model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5))
# 单分类任务用sigmoid更合适，多分类再用softmax
model.add(Dense(y_categorical.shape[1], activation='sigmoid'))

# 编译模型
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd, metrics=['accuracy'])

# 训练模型
model.fit(X_train, y_train, epochs=20, batch_size=8, validation_data=(X_test, y_test))

1D卷积 vs 频谱图图像卷积的优缺点 #

1D卷积处理原始音频的优点： #

• 直接处理原始波形：不需要额外的特征提取步骤，完整保留音频的时域信息，适合捕捉瞬态信号（比如敲击声、爆破音）。
• 计算成本更低：相比2D卷积，1D卷积的参数数量更少，训练和推理速度更快，对硬件要求更低。
• 时域连续性建模更自然：1D卷积核天生适合捕捉时域上的连续模式，比如音频的节奏、音调变化规律。

1D卷积的缺点： #

• 频率特征捕捉能力弱：原始波形无法直观体现不同频率的分布，对于依赖频率特征的任务（比如乐器识别、语音情感分析），效果不如频谱图方案。
• 对音频长度敏感：必须严格统一输入长度，过长的音频会导致模型参数爆炸，过短则容易丢失关键信息。

频谱图当作图像用2D卷积的优点： #

• 兼顾时域和频域信息：频谱图将音频转换成“时间-频率”二维图像，能直观展示不同频率随时间的变化，适配大多数音频分类任务的需求。
• 可复用图像领域成熟技术：可以直接使用预训练的图像模型（比如ResNet、VGG）做迁移学习，降低训练难度，快速提升模型效果。
• 音频长度鲁棒性强：可以把长音频切割成多个短频谱图片段，或者调整频谱图尺寸，灵活处理不同长度的音频。

频谱图卷积的缺点： #

• 预处理复杂度高：需要通过STFT（短时傅里叶变换）生成频谱图，还要处理幅度缩放、对数变换、相位保留等细节，增加了前期工作的难度。
• 计算成本更高：2D卷积的参数远多于1D卷积，训练和推理速度较慢，对GPU资源要求更高。
• 丢失部分时域细节：STFT基于滑动窗口计算，窗口大小会权衡时域和频域分辨率，可能丢失一些精细的时域瞬态信息。

内容的提问来源于stack exchange，提问作者Harry Moreno